配置yarn(所有操作都在hadoop安装目录下进行)
1、cd /opt/apps/hadoop-3.2.1/etc/hadoop/
目录下有一个yarn-site.xml,打开编辑模式
2、yarn-site.xml中,增加编辑如下:
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- resource,manager主节点所在机器 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux01</value>
</property>
<!-- 为mr程序提供shuffle服务 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 一台NodeManager的总可用内存资源 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>