1.yarn介绍
一个分布式运算程序的资源调度系统;
yarn中有一个ResourceManager负责接收资源申请的请求
yarn中有大量NodeManager负责创建资源容器(cpu+内存+jar包)
2.yarn集群安装:
ResourceManager装在master(我的namenode主机上);
NodeManager装在跟DataNode相同的机器上;
安装搭建步骤
(本人是以master为namnode和resourManager slave1、slave2和slave3为datanode和nodemanager)
1.在master主机自己解压的Hadoop文件目录下的:/etc/hadoop/
vim yarn-site.xml
(红色字体有用),在这个文件里的<configuration>和</configuration>标签中间加入下列代码
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>6144</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>6</value>
</property>
保存退出
在当前位置下,scp yarn-site.xml slave1:$PWD
scp yarn-site.xml slave2:$PWD
scp yarn-site.xml slave3:$PWD
(把上面编辑好的文件发送到另外3台主机的当前绝对路径)
在master的Hadoop文件目录下的sbin文件夹下运行start-yarn.sh
在master下输入jsp出现:
而在slave1 slave2 slave3 下输入jsp:
则代表搭建yarn成功。同样在sbin 下执行stop-yarn.sh则是关闭yarn。