MapReduce编程模型实现WordCount程序，在搭建的YARN上运行

##本程序在hadoop集群hdfs系统搭建完成，namenode，datanode可正常启动并使用的基础上进行。

• 首先需要搭建YARN平台，修改hadoop下的配置文件yarn-site.xml即可。

<configuration>
<!-- 配置resourcemanager节点所在位置 -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hdp-01</value>
    </property>
<!-- 配置nodemanager节点 -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
<!-- 配置内存大小，最小得1.5个G，否则会出错 -->
    <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
    </property>
<!-- 配置cpu核数 -->
    <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
    </property>
</configuration>

 

然后将yarn-site.xml拷贝到其他集群下的同样目录下。scp yarn-site.xml hdp-02:$PWD

执行start-yarn.sh，在linux中查看resourcemanager和nodemanager是否启动成功。或者在网页上http://hdp-01:8088/进行查看，如下图即是成功，

#eclipse是按照可对hdfs文件系统操作的基础上进行程序编写配置。hdfs文件系统操作开发环境详情查阅：利用Java API对HDFS文件系统进行操作

• 将缺少的yarn，mapreduce所需要的包以及依赖包（lib