Hadoop集群动态添加删除节点

环境

192.168.159.101    master

192.168.159.102    node1

192.168.159.103    node2

192.168.159.104    node3

新添加

192.168.159.105    ssy

 

添加

1.首先配置主节点的hdfs-site.xml

添加允许和拒绝加入集群的节点列表（如果允许的列表为空默认都允许连接，拒绝的列表为空则代表没有节点拒绝连接集群。拒绝列表的优先级大于允许的优先级）

vi hdfs-site.xml

<property>
     <name>dfs.hosts</name>
     <value>/home/hadoop/hadoop2.7/conf/datanode-allow.list</value>
     <description>允许加入集群的节点列表</description>
</property>

<property>
    <name>dfs.hosts.exclude</name>
    <value>/home/hadoop/hadoop2.7/conf/datanode-deny.list</value>
    <description>拒绝加入集群的节点列表</description>
</property>

 

2.配置新的节点

创建新的节点（略）

如果用的是克隆功能克隆节点的话，必须把之前集群的数据进行删除（即配置文件中配置的存放数据的目录），并且重新创建文件夹（创建文件夹的时候注意权限问题，如果使用的用户为root则创建的文件都属root。使用chown -R hadoop:hadoop hadoop2.7/ 递归改变hadoop2.7/下文件的所属者和组）

修改节点的Ip地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在hosts下添加Ip映射

vi /etc/hosts

配置ssh，将ssh公钥id发送给master

ssh-copy-id master

启动进程

hadoop-daemon.sh start datanode

yarn-daemon.sh start nodemanager

 

3.配置主节点的slaves

vi /home/hadoop/hadoop2.7/etc/hadoop2.7/slaves

配置允许连接的节点列表datanode-allow.list //非必需（默认所有节点都可以连接，如果进行配置的话，只有此文件中的节点能够连接。）

vi /home/hadoop/hadoop2.7/con/datanode-allow.list

 

4.在主节点上进行刷新

hdfs dfsadmin -refreshNodes

 

5.查看节点状态

hdfs dfsadmin -report

 

删除

1.在主节点中配置拒绝连接的节点列表datanode-deny-list，将删除的节点名添加在列表中

vi /home/hadoop/hadoop2.7/con/datanode-denylist

 

2.在主节点刷新

hdfs dfsadmin -refreshNodes

 

3.查看节点状态（可以看到节点的状态变成了Decommissioned，过一段时间后变成Died）

hdfs dfsadmin -report

 

4.在删除的节点上关闭进程

yarn-daemon.sh stop nodemanager

hadoop-daemon.sh stop datanode

 

如果文章对你有帮助的话就点个赞鼓励一下吧！