听说hadoop以灾备能力、动态扩展能力著称。我的集群部署方案见 http://blog.csdn.net/a775700879/article/details/20692259
今天做几个简单的试验:
实验一: 模拟一块硬盘突然挂掉
假设datanode的数据存储目录有两个,分别是/data1/hadoop-dn 和 /data2/hadoop-dn
我们直接强行删除掉任意一个datanode(例如node2)上的存储目录:
例如:
hadoop@node2:/data1$ rm -rf /data1/hadoop-dn/
hadoop@node2:/data1$ rm -rf /data2/hadoop-dn/
然后重启node2上的datanode:
hadoop@node2:/data1$ hadoop-daemon.sh --script hdfs stop datanode
stopping datanode
hadoop@node2:/data1$ hadoop-daemon.sh --script hdfs start datanode
starting datanode, logging to /home/hadoop/hadoop-2.3.0/logs/hadoop-hadoop-datanode-node2.out
这个时候,发现删掉的hadoop-dn目录被自动重建了。
然后 短短几秒内,数据就恢复原状了。。
这个恢复是以极限带宽进行拷贝的。