hadoop配置_Hadoop配置yarn

yarn的英文意思是yet another resource negotiator 即另一种资源协调器。它主要是分为Resource Manager、node manager 、container等部分构成

RM（resource manager）

resource manager是一个资源的管理的器，它主要由两部分组成，第一部分就是scheduler调度器，第二部分application manager 负责作业的管理和监控。每次提交作业都会生成一个application manager。

Node Manager

它是RM位于每个DataNode节点上面的代理，它负责监控本节点的container信息。

Container

container把集群节点的内资源给封装起来了，这样就方便集群调用。

Hadoop中配置yarn

第一步打开yarn-site.xml文件中设置配置文件如下

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

第二步打开创建一个map-site.xml 文件然后添加配置项如下

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

即可

启动yarn以及部分yarn的命令

start-yarn.sh：启动yarn，yarn的启动和hadoop的启动是分开的，即hadoop启动之后还需要我们自己去启动yarn

stop-yarn.sh：停止yarn