卸载节点或者增加节点:
方式一:静态的增添删除:将集群关闭,修改配置文件(etc/hadoop/slaves),重新启动集群(很黄很暴力,不够人性化)。
方式二:动态的增加和卸载节点。
卸载DataNode节点:
1)要在HDFS主节点NameNode上,进行配置。
a)在etc/hadoop/hdfs-site.xml中,设置属性值:
dfs.hosts.exclude
/opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude
b)创建文件并在文件中加入卸载节点的IP地址或者主机名。
2)在NameNode节点上刷新集群
bin/hdfs dfsadmin -refreshNodes
3)从页面查看卸载相关信息(过程)。
4)通过命令来查看结果。
bin/hdfs dfsadmin -report
5)在卸载机器上关闭DataNode进程
sbin/hadoop-daemon.sh stop datanode
6)将dfs-hosts.exclude文件内容清空
注意:
在卸载NodeManager时,一定要主要配置在ResourceManager上。
yarn.resourcemanager.nodes.exclude-path
/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude
增加新机器,DataNode(存储数据)和NodeMana