hadoop hdfs 灾备、动态扩容测试

听说hadoop以灾备能力、动态扩展能力著称。我的集群部署方案见 http://blog.csdn.net/a775700879/article/details/20692259

今天做几个简单的试验：

实验一: 模拟一块硬盘突然挂掉

假设datanode的数据存储目录有两个，分别是/data1/hadoop-dn 和 /data2/hadoop-dn

我们直接强行删除掉任意一个datanode（例如node2）上的存储目录：

例如：

hadoop@node2:/data1$ rm -rf /data1/hadoop-dn/
hadoop@node2:/data1$ rm -rf /data2/hadoop-dn/

然后重启node2上的datanode：

hadoop@node2:/data1$ hadoop-daemon.sh  --script hdfs stop datanode     
stopping datanode
hadoop@node2:/data1$ hadoop-daemon.sh  --script hdfs start datanode     
starting datanode, logging to /home/hadoop/hadoop-2.3.0/logs/hadoop-hadoop-datanode-node2.out

这个时候，发现删掉的hadoop-dn目录被自动重建了。

然后 短短几秒内，数据就恢复原状了。。

这个恢复是以极限带宽进行拷贝的。

实验二：模拟