全方位揭秘！大数据从0到1的完美落地之YARN的配置

YARN的配置

YARN属于Hadoop的核心组件，不需要单独安装，只需要修改一些配置文件即可。

mapred-site.xml

<configuration>
    <!-- 指定MapReduce作业执行时，使用YARN进行资源调度 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <!-- 设置ResourceManager -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>qianfeng01</value>
    </property>

    <!--配置yarn的shuffle服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> 
    </property>
</configuration>

hadoop-env.sh

# 添加如下:
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

分发到其他节点

[root@qianfeng01 ~]# cd $HADOOP_HOME/etc/
[root@qianfeng01 etc]# scp -r hadoop qianfeng02:$PWD
[root@qianfeng01 etc]# scp -r hadoop qianfeng03:$PWD

YARN的服务启停

描述	命令
开启YARN全部服务	start-yarn.sh
停止YARN全部服务	stop-yarn.sh
单点开启YARN相关进程	yarn --daemon start resourcemanager yarn --daemon start nodemanager
单点停止YARN相关进程	yarn --daemon stop resourcemanager yarn --daemon stop nodemanager

当YARN的进程开启之后，我们可以在WebUI上查看到集群的资源信息、任务的运行状态等

http://192.168.10.101:8088

任务测试

当开启所有的YARN的进程之后，我们再次运行之前的Hadoop的官方案例: wordcount

[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

当任务运行起来之后，我们可以在WebUI上查看到任务的运行状态: http://192.168.10.101:8088