0.5 Hadoop Yarn环境搭建

Yarn环境 各节点简析

上图中紫色互相对应 红色互相对应 (个数匹配)

NN – namenode
	核心节点 master
	
DN – datanode
	数据节点
	
JNN – journalnode 
	namenode之间做数据同步
	
RS – resourcemanager
	交互 分配资源调度
	
NM – nodemanager
	与ResourceManager保持通信，管理 监控Container
	Container – yarn中资源的抽象
	
ZKFC - FailoverController

FailoverController 也就是ZKFC进程
健康检测：zkfc会周期性的向它监控的namenode（只有namenode才有zkfc进程，并且每个namenode各一个）发生健康探测命令，从而鉴定某个namenode是否处于正常工作状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于不健康的状态；

搭建Yarn环境

需要Hadoop-HA 集群
首先保证当前集群是关闭状态

• 切换目录

语法:
cd /opt/sxt/hadoop-2.6.5/etc/hadoop/

修改mapred-site.xml

--拷贝并改名
--语法:
cp mapred-site.xml.template mapred-site.xml

--编辑mapred-site.xml
--语法:
vim mapred-site.xml

--配置示例:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

修改yarn-site.xml

--语法:
vim yarn-site.xml

--配置示例:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>mr_shsxt</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>bd1303</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>bd1301</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>bd1301:2181,bd1302:2181,bd1303:2181</value>
</property>

拷贝mapred-site.xml和yarn-site.xml到主机2和主机3

--语法:
scp root@bd1301:/opt/sxt/hadoop-2.6.5/etc/hadoop/mapred-site.xml /opt/sxt/hadoop-2.6.5/etc/hadoop/

scp root@bd1301:/opt/sxt/hadoop-2.6.5/etc/hadoop/yarn-site.xml /opt/sxt/hadoop-2.6.5/etc/hadoop/

Yarn集群开启&关闭

开启集群流程

• 启动所有主机的zookeeper

--语法:
zkServer.sh start

• 启动dfs和yarn

--语法:
start-all.sh


--或分别启动
--语法:
start-dfs.sh
start-yarn.sh

• 启动主机3的resourcemanager

--语法:
yarn-daemon.sh start resourcemanager

关机拍摄快照

- 关闭dfs和yarn
--语法:
stop-all.sh

--或者
stop-dfs.sh
stop-yarn.sh

• 关闭主机3的resourcemanager

--语法:
yarn-daemon.sh stop resourcemanager

• 关闭所有主机的zookeeper

--语法:
zkServer.sh stop