Hadoop集群动态添加删除节点

环境

192.168.159.101    master

192.168.159.102    node1

192.168.159.103    node2

192.168.159.104    node3

新添加

192.168.159.105    ssy

 

添加

1.首先配置主节点的hdfs-site.xml

添加允许和拒绝加入集群的节点列表(如果允许的列表为空默认都允许连接,拒绝的列表为空则代表没有节点拒绝连接集群。拒绝列表的优先级大于允许的优先级)

vi hdfs-site.xml

<property>
     <name>dfs.hosts</name>
     <value>/home/hadoop/hadoop2.7/conf/datanode-allow.list</value>
     <description>允许加入集群的节点列表</description>
</property>

<property>
    <name>dfs.hosts.exclude</name>
    <value>/home/hadoop/hadoop2.7/conf/datanode-deny.list</value>
    <description>拒绝加入集群的节点列表</description>
</property>

 

2.配置新的节点

创建新的节点(略)

如果用的是克隆功能克隆节点的话,必须把之前集群的数据进行删除(即配置文件中配置的存放数据的目录),并且重新创建文件夹(创建文件夹的时候注意权限问题,如果使用的用户为root则创建的文件都属root。使用chown -R hadoop:hadoop hadoop2.7/ 递归改变hadoop2.7/下文件的所属者和组)

修改节点的Ip地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在hosts下添加Ip映射

vi /etc/hosts

配置ssh,将ssh公钥id发送给master

ssh-copy-id master

启动进程

hadoop-daemon.sh start datanode

yarn-daemon.sh start nodemanager

 

3.配置主节点的slaves

vi /home/hadoop/hadoop2.7/etc/hadoop2.7/slaves

配置允许连接的节点列表datanode-allow.list //非必需(默认所有节点都可以连接,如果进行配置的话,只有此文件中的节点能够连接。)

vi /home/hadoop/hadoop2.7/con/datanode-allow.list

 

4.在主节点上进行刷新

hdfs dfsadmin -refreshNodes

 

5.查看节点状态

hdfs dfsadmin -report

 

删除

1.在主节点中配置拒绝连接的节点列表datanode-deny-list,将删除的节点名添加在列表中

vi /home/hadoop/hadoop2.7/con/datanode-denylist

 

2.在主节点刷新

hdfs dfsadmin -refreshNodes

 

3.查看节点状态(可以看到节点的状态变成了Decommissioned,过一段时间后变成Died)

hdfs dfsadmin -report

 

4.在删除的节点上关闭进程

yarn-daemon.sh stop nodemanager

hadoop-daemon.sh stop datanode

 

如果文章对你有帮助的话就点个赞鼓励一下吧!

 

发布了27 篇原创文章 · 获赞 33 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 数字20 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览