实验目标:
1)在3个节点组成的Hadoop分布式集群的基础上,先增加一个DataNode进程,实现软件(进程)层面的扩容;再实现新增加一个虚拟机slave3节点,实现硬件层面的扩容;目的都是模拟企业真实生产环境中,通过动态增加DataNode节点,实现HDFS存储能力的热扩容(业务不停机,数据补丢失)
2)通过修改副本因子的配置参数,模拟企业真实生产环境中,通过提高数据块的副本数,增加HDFS数据存储的容错性
3)通过本实验,间接验证一下HDFS的副本存放策略和心跳机制
实验一 扩容实验 增加一个DataNode进程,实现软件(进程)层面的扩容
实验步骤:
1)扩容之前,运行Hadoop完全分布式集群master,slave1,slave2三个虚拟机,执行start-dfs.sh脚本命令启动HDFS集群,要确保集群启动成功,执行jps命令检查各个节点的进程必须都运行正确,做好扩容之前的准备
2)浏览器访问HDFS的自带web网站的DataNode监控页面:http://192.168.56.10:50070/dfshealth.html#tab-datanode,此时应该有2个活跃的DataNode,分别是slave1和slave2
2)在master节点执行hadoop-daemon.sh start datanode命令,直接在master节点启动DataNode进程,启动完成后执行jps命令,检查是否DataNode进程启动成功
4)浏览器再次访问HDFS的自带web网站的DataNode监控页面:http://192.168.56.10:50070/dfshealth.html#tab-datanode,此时应该有3个活跃的DataNode,分别是slave1,slave2和master,说明软件(进程)层面的扩容成功
实验二 扩容实验 新增加一个虚拟机slave3节点,实现硬件层面的扩容(本实验紧接实验一)
实验步骤:
1)把Vmware Wor