HDFS集群扩容和扩副本实验简明操作说明

最新推荐文章于 2024-03-14 15:22:09 发布

whvcse_hlzhang

最新推荐文章于 2024-03-14 15:22:09 发布

阅读量563

点赞数

本文链接：https://blog.csdn.net/qq_35447918/article/details/110231788

版权

本文提供了一套Hadoop HDFS集群的扩容实验方案，包括软件层面增加DataNode进程和硬件层面新增虚拟机节点。同时，通过调整副本因子，探讨了HDFS的容错性和副本存放策略。实验结果显示，副本数量与上传节点的配置相关，并验证了HDFS的数据块副本存放策略和心跳机制。

摘要由CSDN通过智能技术生成

实验目标：

1）在3个节点组成的Hadoop分布式集群的基础上，先增加一个DataNode进程，实现软件（进程）层面的扩容；再实现新增加一个虚拟机slave3节点，实现硬件层面的扩容；目的都是模拟企业真实生产环境中，通过动态增加DataNode节点，实现HDFS存储能力的热扩容（业务不停机，数据补丢失）

2）通过修改副本因子的配置参数，模拟企业真实生产环境中，通过提高数据块的副本数，增加HDFS数据存储的容错性

3）通过本实验，间接验证一下HDFS的副本存放策略和心跳机制

实验一扩容实验 增加一个DataNode进程，实现软件（进程）层面的扩容

实验步骤：

1）扩容之前，运行Hadoop完全分布式集群master,slave1,slave2三个虚拟机，执行start-dfs.sh脚本命令启动HDFS集群，要确保集群启动成功，执行jps命令检查各个节点的进程必须都运行正确，做好扩容之前的准备

2）浏览器访问HDFS的自带web网站的DataNode监控页面：http://192.168.56.10:50070/dfshealth.html#tab-datanode，此时应该有2个活跃的DataNode，分别是slave1和slave2

2）在master节点执行hadoop-daemon.sh start datanode命令，直接在master节点启动DataNode进程，启动完成后执行jps命令，检查是否DataNode进程启动成功

4）浏览器再次访问HDFS的自带web网站的DataNode监控页面：http://192.168.56.10:50070/dfshealth.html#tab-datanode，此时应该有3个活跃的DataNode，分别是slave1，slave2和master，说明软件（进程）层面的扩容成功

实验二扩容实验 新增加一个虚拟机slave3节点，实现硬件层面的扩容（本实验紧接实验一）

实验步骤：

1）把Vmware Wor