Hadoop环境搭建三之配置部署启动YARN以及在YARN上运行MapReduce程序

一、配置部署启动YARN

1.在hadoop安装目录下找到etc/hadoop目录，在这个目录下找到yarn-env.sh文件进行如下配置：（保险起见配置Java环境）

2.然后找到yarn-site,xml文件配置：

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>主机名/ip地址</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

3.在该目录下有一个文件mapred-site.xml.template将其重命名为mapred-site.xml:

然后配置该文件：

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

在这里我们会启动一个节点，有人会想到如果我们启动了多个节点该怎么配置呢？我们可以找到该目录下的slaves文件，在该文件中写入你每一个节点的主机名即可，注意每一行一个主机名。

4.我们来启动yarn上的resourcemanager和nodemanager:

这时，我们可以通过jps命令可以看到yarn已经启动。

二、运行MapReduce程序

首先，我们需要使用put命令向hdfs文件系统上上传数据。

数据上传完成后，我们在yarn上运行maoreduce程序。

注意：在运行mapreduce程序之前一定不能存在输出目录，否则会报错。

sudo bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/shinelon/mapreduce/wordcount/input/ /user/shinelon/mapreduce/wordcount/output

运行完毕后，我们可以看到运行结果：