1. 前言
其实关于Yarn的搭建,我在Hadoop+Spark+Zookeeper高可用集群搭建(二)这篇文章中已经包含在内了,这里再单独摘出来说一下。
2. 配置文件
2.1 mapred-site.xml
<configuration>
<!--设置jar程序启动Runner类的main方法运行在yarn集群中-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.2 yarn-site.xml
<configuration>
<!--设置ResourceManager在哪台节点-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master001</value>
</property>
<!--Reduce取数据的方式是mapreduce_shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3. 运行效果
注意:在上述配置文件中我并没有配置远程的访问地址,而是采用默认的8088端口进行访问。
如果你想配置访问地址,可以采用如下命令:
<property>
<name>yarn.resourcemanger.webapp.address</name>
<value>master001:8088</value>
</property>
访问效果: