Linux安装yarn

1.yarn介绍

一个分布式运算程序的资源调度系统;

yarn中有一个ResourceManager负责接收资源申请的请求

yarn中有大量NodeManager负责创建资源容器(cpu+内存+jar包)

2.yarn集群安装:

ResourceManager装在master(我的namenode主机上);

NodeManager装在跟DataNode相同的机器上;

安装搭建步骤

(本人是以master为namnode和resourManager    slave1、slave2和slave3为datanode和nodemanager)

1.在master主机自己解压的Hadoop文件目录下的:/etc/hadoop/

vim yarn-site.xml

(红色字体有用),在这个文件里的<configuration>和</configuration>标签中间加入下列代码

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.resource.memory-mb</name>

<value>6144</value>

</property>

<property>

<name>yarn.nodemanager.resource.cpu-vcores</name>

<value>6</value>

</property>

保存退出

在当前位置下,scp yarn-site.xml slave1:$PWD 

scp yarn-site.xml slave2:$PWD
scp yarn-site.xml slave3:$PWD

(把上面编辑好的文件发送到另外3台主机的当前绝对路径)

在master的Hadoop文件目录下的sbin文件夹下运行start-yarn.sh


在master下输入jsp出现:

而在slave1 slave2 slave3 下输入jsp:

则代表搭建yarn成功。同样在sbin 下执行stop-yarn.sh则是关闭yarn。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值