主要配置文件hdfs-site.xml:
<property>
<!--要增加的datanode-->
<name>dfs.hosts</name>
<value>/app/soft/hadoop/etc/hadoop/hosts</value>
</property>
<property>
<!--要摘除的datanode-->
<name>dfs.hosts.exclude</name>
<value>/app/soft/hadoop/etc/hadoop/exclude</value>
</property>
增加节点:
如原集群有3个节点node1,node2,node3,现在要增加node4,那么需要追加node4到/app/soft/hadoop/etc/hadoop/hosts文件:
node1
node2
node3
node4
增加后执行:hdfs dfsadmin -refreshNodes进行节点刷新,这样就能重新加载hosts配置文件,刷新后到新增节点上执行$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode,此时用hdfs dfsadmin -report就会看到新增加的节点已经生效,如果想使数据均衡,那么可以执行hdfs balancer -threshold 10(注:hdoop1使用命令为:start-balancer.sh –t 10%),即发现磁盘使用率偏差在10%以上的就会进行数据均衡,此过程有点漫长,要有耐心!
摘除节点:
如原集群有4个节点node1,node2,node3,现在要将故障节点node2摘除,那么需要再exclude文件中增加node2,执行hdfs dfsadmin -refreshNodes,再到故障节点执行hadoop-daemon.sh stop datanode(如直接停机自然可省略这步).