Hadoop中节点的服役和退役，加入或删除 存储节点或计算节点， 黑白名单

节点的服役和退役(hdfs)

----------------------

[添加新节点]

1.在dfs.include文件中包含新节点名称,该文件在nn的本地目录。

只有名称节点需要它

[白名单]

[s201:/soft/hadoop/etc/dfs.include.txt]

这个路径是自己放的，自己加的文件

s202

s203

s204

s205

2.在hdfs-site.xml文件中添加属性.

<property>

<name>dfs.hosts</name>

<value>/soft/hadoop/etc/dfs.include.txt</value>

</property>

 

3.在nn上刷新节点

$>hdfs dfsadmin -refreshNodes

 

4.在slaves文件中添加新节点ip(主机名)

s202

s203

s204

s205                //新添加的

 

5.单独启动新的节点中的datanode

在[s205]中

$>hadoop-daemon.sh start datanode

 

 

[退役]

1.添加退役节点的ip到黑名单.（不要更新白名单）

[/soft/hadoop/etc/dfs.hosts.exclude.txt]

s205

 

2.配置hdfs-site.xml

<property>

<name>dfs.hosts.exclude</name>

<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>

</property>

 

3.刷新nn节点

$>hdfs dfsadmin -refreshNodes

 

4.查看webui,节点状态在decommisstion in progress.

 

5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。

 

6.从白名单删除节点,并刷新节点

[s201:/soft/hadoop/etc/dfs.include.txt]

...

 

$>hdfs dfsadmin -refreshNodes

 

7.从slaves文件中删除退役节点

 

 

节点的服役和退役(yarn)

----------------------

[添加新节点]

1.在dfs.include文件中包含新节点名称,该文件在nn的本地目录。

[白名单]

[s201:/soft/hadoop/etc/dfs.include.txt]

s202

s203

s204

s205

2.在yarn-site.xml文件中添加属性.

<property>

<name>yarn.resourcemanager.nodes.include-path</name>

<value>/soft/hadoop/etc/dfs.include.txt</value>

</property>

 

3.在nn上刷新节点

$>yarn rmadmin -refreshNodes

 

4.在slaves文件中添加新节点ip(主机名)

s202

s203

s204

s205                //新添加的

 

5.单独启动新的节点中的nodemananger

[s205]

$>yarn-daemon.sh start nodemananger

 

 

[退役]

1.添加退役节点的ip到黑名单,不要更新白名单.

[/soft/hadoop/etc/dfs.hosts.exclude.txt]

s205

 

2.配置yarn-site.xml

<property>

<name>yarn.resourcemanager.nodes.exclude-path</name>

<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>

</property>

 

3.刷新rm节点

$>yarn rmadmin -refreshNodes

 

4.查看webui,节点状态在decommisstion in progress.

 

5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。

 

6.从白名单删除节点,并刷新节点

 

$>yarn rmadmin -refreshNodes

 

7.从slaves文件中删除退役节点