关于MapReduce和YARN的认识

一，基础知识

简单来说，MapReduce是用来对数据处理计算的一种模式，但是已经淡出舞台，分布式计算常见的2种工作模式

分散->汇总  （MapReduce就是这种模式）

中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）

其次，MapReduce是基于YARN运行的，即没有YARN”无法”运行MapReduce程序

YARN用来调度资源给MapReduce分配和管理运行资源

YAEN的架构类似于HDFS架构

ResourceManager：整个集群的资源调度者， 负责协调调度各个程序所需的资源。 NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用。

NodeManager在服务器上构建一个容器（提前占用资源，类似集装箱的概念） 然后将容器的资源提供给程序使用 程序运行在容器（集装箱）内，无法突破容器的资源限制

二，MapReduce框架的运行配置

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改： mapred-env.sh文件，添加如下环境变量

mapred-site.xml文件，添加如下配置信息

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<discription>MapReduce的运行框架运行为YARN</discription>
</property>

<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node1:10020</value>
	<discription>历史服务器通讯端口为node1:10020</discription>
</property>

<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node1:19888</value>
	<discription>历史服务器端口为node1的19888</discription>
</property>

<property>
	<name>mapreduce.jobhistory.intermediate-done-dir</name>
	<value>/data/mr-history/tmp</value>
	<discription>历史信息在HDFS的记录临时路径</discription>
</property>

<property>
	<name>mapreduce.jobhistory.done-dir</name>
	<value>/data/mr-history/done</value>
	<discription>历史信息在HDFS的记录路径</discription>
</property>

<property>
	<name>yarn.app.mapreduce.am.env</name>
	<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	<discription>MapRedece HOME设置为HADOOP_HOME</discription>
</property>

<property>
	<name>mapreduce.map.env</name>
	<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	<discription>MapRedece HOME设置为HADOOP_HOME</discription>
</property>

<property>
	<name>mapreduce.reduce.env</name>
	<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	<discription>MapRedece HOME设置为HADOOP_HOME</discription>
</property>

三，YARN配置文件

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改：

yarn-env.sh文件，添加如下4行环境变量内容：

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

yarn-site.xml文件，配置如图属性

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
	<discription>ResourceManager设置在node1节点</discription>
</property>

<property>
	<name>yarn.nodemanager.local-dirs</name>
	<value>/data/nm-local</value>
	<discription>NodeManager中间数据本地存储路径</discription>
</property>

<property>
	<name>yarn.nodemanager.log-dirs</name>
	<value>/data/nm-log</value>
	<discription>NodeManager数据日志本地存储路径</discription>
</property>

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	<discription>为MapReduce程序开启Shuffle服务</discription>
</property>

<property>
	<name>yarn.log.server.url</name>
	<value>http://node1:19888/jobhistory/logs</value>
	<discription>历史服务器URL</discription>
</property>

<property>
	<name>yarn.web-proxy.address</name>
	<value>node1:8089</value>
	<discription>代理服务器主机和端口</discription>
</property>

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
	<discription>开启日志聚合</discription>
</property>

<property>
	<name>yarn.nodemanager.remote-app-log-dir</name>
	<value>/tmp/logs</value>
	<discription>程序日志HDFS的存储路径</discription>
</property>

<property>
	<name>yarn.resourcemanager.scheduler.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
	<discription>选择公平调度器</discription>
</property>

四，分发配置文件

MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:`pwd`/

分发完成配置文件，就可以启动YARN的相关进程啦。

五，集群启动命令的介绍

一键启动YARN集群： $HADOOP_HOME/sbin/start-yarn.sh

        会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager

        会基于workers文件配置的主机启动NodeManager 一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh

在当前机器，单独启动或停止进程

        $HADOOP_HOME/bin/yarn --daemon start|stop         resourcemanager|nodemanager|proxyserver start和stop决定启动和停止

        可控制resourcemanager、nodemanager、proxyserver三种进程

历史服务器启动和停止

        $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

        mr-jobhistory-daemon.sh start historyserver

都启动之后，可以在浏览器输入node1:8088，出现下面界面，说明YARN配置好了