hadoop 节点的服役和退役

黑白名单的组合情况
-------------------------
include		//dfs.include
exclude		//dfs.hosts.include

include		exclude		Interpretation
No			No			不能连接
No			Yes			不能连接
Yes			No			可以连接
Yes			Yes			可以连接,将会退役状态。

节点的服役和退役(hdfs)
----------------------
	[添加新节点]
	1.在dfs.include文件中包含新节点名称,该文件在nn的本地目录。
		[白名单]
		[s201:/soft/hadoop/etc/dfs.include.txt]
		s202
		s203
		s204
		s205
	2.在hdfs-site.xml文件中添加属性.
		<property>
			<name>dfs.hosts</name>
			<value>/soft/hadoop/etc/dfs.include.txt</value>
		</property>

	3.在nn上刷新节点
		$>hdfs dfsadmin -refreshNodes

	4.在slaves文件中添加新节点ip(主机名)
		s202
		s203
		s204
		s205		//新添加的

	5.单独启动新的节点中的datanode
		[s205]
		$>hadoop-daemon.sh start datanode

		
	[退役]
	1.添加退役节点的ip到黑名单,不要更新白名单.
		[/soft/hadoop/etc/dfs.hosts.exclude.txt]
		s205

	2.配置hdfs-site.xml
		<property>
			<name>dfs.hosts.exclude</name>
			<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
		</property>

	3.刷新nn节点
		$>hdfs dfsadmin -refreshNodes

	4.查看webui,节点状态在decommisstion in progress.

	5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。

	6.从白名单删除节点,并刷新节点
		[s201:/soft/hadoop/etc/dfs.include.txt]
		...

		$>hdfs dfsadmin -refreshNodes

	7.从slaves文件中删除退役节点

节点的服役和退役(yarn)
----------------------
	[添加新节点]
	1.在dfs.include文件中包含新节点名称,该文件在nn的本地目录。
		[白名单]
		[s201:/soft/hadoop/etc/dfs.include.txt]
		s202
		s203
		s204
		s205
	2.在yarn-site.xml文件中添加属性.
		<property>
			<name>yarn.resourcemanager.nodes.include-path</name>
			<value>/soft/hadoop/etc/dfs.include.txt</value>
		</property>

	3.在nn上刷新节点
		$>yarn rmadmin -refreshNodes

	4.在slaves文件中添加新节点ip(主机名)
		s202
		s203
		s204
		s205		//新添加的

	5.单独启动新的节点中的nodemananger
		[s205]
		$>yarn-daemon.sh start nodemananger

		
	[退役]
	1.添加退役节点的ip到黑名单,不要更新白名单.
		[/soft/hadoop/etc/dfs.hosts.exclude.txt]
		s205

	2.配置yarn-site.xml
		<property>
			<name>yarn.resourcemanager.nodes.exclude-path</name>
			<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
		</property>

	3.刷新rm节点
		$>yarn rmadmin -refreshNodes

	4.查看webui,节点状态在decommisstion in progress.

	5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。

	6.从白名单删除节点,并刷新节点

		$>yarn rmadmin -refreshNodes

	7.从slaves文件中删除退役节点