hadoop hdfs 灾备、动态扩容测试

听说hadoop以灾备能力、动态扩展能力著称。我的集群部署方案见 http://blog.csdn.net/a775700879/article/details/20692259

今天做几个简单的试验:

实验一: 模拟一块硬盘突然挂掉

假设datanode的数据存储目录有两个,分别是/data1/hadoop-dn 和 /data2/hadoop-dn

我们直接强行删除掉任意一个datanode(例如node2)上的存储目录:

例如:

hadoop@node2:/data1$ rm -rf /data1/hadoop-dn/
hadoop@node2:/data1$ rm -rf /data2/hadoop-dn/
然后重启node2上的datanode:

hadoop@node2:/data1$ hadoop-daemon.sh  --script hdfs stop datanode     
stopping datanode
hadoop@node2:/data1$ hadoop-daemon.sh  --script hdfs start datanode     
starting datanode, logging to /home/hadoop/hadoop-2.3.0/logs/hadoop-hadoop-datanode-node2.out
这个时候,发现删掉的hadoop-dn目录被自动重建了。

然后 短短几秒内,数据就恢复原状了。。

这个恢复是以极限带宽进行拷贝的。


实验二:模拟

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值