HDFS集群扩容和扩副本实验简明操作说明

实验目标：

1）在3个节点组成的Hadoop分布式集群的基础上，先增加一个DataNode进程，实现软件（进程）层面的扩容；再实现新增加一个虚拟机slave3节点，实现硬件层面的扩容；目的都是模拟企业真实生产环境中，通过动态增加DataNode节点，实现HDFS存储能力的热扩容（业务不停机，数据补丢失）

2）通过修改副本因子的配置参数，模拟企业真实生产环境中，通过提高数据块的副本数，增加HDFS数据存储的容错性

3）通过本实验，间接验证一下HDFS的副本存放策略和心跳机制

 

实验一  扩容实验 增加一个DataNode进程，实现软件（进程）层面的扩容

实验步骤：

1）扩容之前，运行Hadoop完全分布式集群master,slave1,slave2三个虚拟机，执行start-dfs.sh脚本命令启动HDFS集群，要确保集群启动成功，执行jps命令检查各个节点的进程必须都运行正确，做好扩容之前的准备

2）浏览器访问HDFS的自带web网站的DataNode监控页面：http://192.168.56.10:50070/dfshealth.html#tab-datanode，此时应该有2个活跃的DataNode，分别是slave1和slave2

2）在master节点执行hadoop-daemon.sh start datanode命令，直接在master节点启动DataNode进程，启动完成后执行jps命令，检查是否DataNode进程启动成功

4）浏览器再次访问HDFS的自带web网站的DataNode监控页面：http://192.168.56.10:50070/dfshealth.html#tab-datanode，此时应该有3个活跃的DataNode，分别是slave1，slave2和master，说明软件（进程）层面的扩容成功

实验二 扩容实验 新增加一个虚拟机slave3节点，实现硬件层面的扩容（本实验紧接实验一）

实验步骤：

1）把Vmware WorkStation左边栏中的名称为“Hadoop伪分布式”的虚拟机改名伪