HDFS新增节点

HDFS新增节点

需求：
随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

准备新节点
第一步准备一台新的虚拟机
第二步要关闭防火墙
第三步要修改selinux配置文件
第四步要修改主机名
第五步要更改主机名与ip地址的映射
第六步新节点服务器要生成公钥和私钥实
现与主机无密码登录
第七步新节点要安装jdk
以上是添加新节点的准备工作

添加新节点的步骤是
1.先创建一个文件，文件内容是你所有的主机名称
在/export/serviers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
创建fds.hosts文件
在文件中添加主机名称
2.在namenode配置文件中添加创建的文件路径
cd/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/etc/hadoop
在修改配置文件中的内容
vim hdfs-site.xml
dfs.hosts /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts

3.刷新namenode
[root@node01 Hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

4.更新resourceManager节点
yarn rmadmin -refreshNodes

5.在namenode的slaves文件中添加主机名称
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
添加主机名
vim slaves

6.单独启动新增节点
在新节点中启动datanode和nodemanager
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin
/hadoop-daemon.sh start datanodes
/yarn-daemon.sh start nodemanager

7.在浏览器中测试新节点是否添加成功
http://node01:50070/dfshealth.html#tab-overview
http://node01:8088/cluster