【Hadoop之Yarn】Yarn的搭建流程、概念和组成部分 以及 Yarn的历史日志jobHistory配置和三种调度器

---

一、Yarn的搭建

/opt/installs/hadoop/etc/hadoop 文件夹下：

1、修改mapred-site.xml

指定mapreduce运行平台为yarn：

<!--添加如下配置-->
<!--yarn的配置-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

2、修改yarn-site.xml

 <!--添加如下配置-->
<!--yarn的配置-->
<!--指定resourceManager启动的主机为第一台服务器-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>


    <!--配置yarn的shuffle服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> 
    </property>
    
    
    <!--为了防止报AppMaster的错误，需要如下配置，可以用 hadoop classpath 来获取value的值-->
   <property>
        <name>yarn.application.classpath</name>
        <value>使用hadoop classpath获取的值</value> 
   </property>

3、检查hadoop-env.sh 中是否配置了权限

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

4、分发mapred-site.xml & yarn-site.xml 到另外两台节点上

分发的脚本xsync可以看我的另一篇文章：
大数据中一些实用的脚本

cd /opt/installs/hadoop/etc/hadoop/

xsync.sh mapred-site.xml yarn-site.xml

5、启动和停止yarn平台：

启动： start-yarn.sh
停止： stop-yarn.sh

6、同时启动hdfs和yarn：

start-all.sh

7、启动后jps进程（包含hdfs）：

节点	进程
node01	NameNode，DataNode，ResourceManager，NodeManager
node02	SecondaryNameNode，DataNode，NodeManager
node03	DataNode，NodeManager

二、Yarn的概念

负责管理集群中的资源分配和任务调度
Yarn其实就是一个类似于操作系统一样的东西。
Yarn是MapReduce运行的环境，Yarn可以管理程序运行所需要的东西（内存，CPU,带宽等资源）

三、Yarn的组成部分

1、ResourceManager (BOSS): 1个

他用来管理整个的Yarn平台，里面有一个资源调度器。

2、NodeManager (各个机器上的主管) 多个

听从我们的ResouceManager的调遣。是每一台电脑的管家。

3、Container(容器)

每一个NodeManager中，有一个或者多个这样的容器。是包含了一些资源的封装（CPU,内存，硬盘等），类似于我们熟悉的虚拟机。

4、AppMaster (项目经理)

每一个MapReduce任务启动提交后，会有一个对应的AppMaster。这个主要作用是负责整个job任务的运行。

四、Yarn的历史日志jobHistory配置【可选项】

1、mapred-site.xml

<!-- 添加如下配置 -->

<!--yarn的历史日志服务-->
<!-- 历史任务的内部通讯地址 -->
<property>
  <name>MapReduce.jobhistory.address</name>
  <value>node01:10020</value>
</property>

<!--历史任务的外部监听页面-->
<property>
  <name>MapReduce.jobhistory.webapp.address</name>
  <value>node01:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/installs/hadoop</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/installs/hadoop</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/installs/hadoop</value>
</property>

2、yarn-site.xml

<!-- 添加如下配置 -->

<!--yarn的历史日志服务-->
<!-- 是否需要开启日志聚合 -->
<!-- 开启日志聚合后，将会将各个Container的日志保存在yarn.nodemanager.remote-app-log-dir的位置 -->
<!-- 默认保存在/tmp/logs -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 历史日志在HDFS保存的时间，单位是秒 -->
<!-- 默认的是-1，表示永久保存 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<property>
    <name>yarn.log.server.url</name>
    <value>http://node01:19888/jobhistory/logs</value>
</property>

3、将mapred-site.xml 和yarn-site.xml 分发到其他两台上

cd /opt/installs/hadoop/etc/hadoop

xsync.sh mapred-site.xml yarn-site.xml

4、启动历史日志服务：jps进程为 JobHistoryServer

mapred --daemon start historyserver

五、Yarn的三种调度器

1、FIFO Scheduler（FIFO调度器）
2、Capacity Scheduler（容量调度器，apache版本默认使用的调度器）
3、Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）