MapReduce环境搭建步骤（伪分布式）（个人使用版）

MapReduce环境搭建步骤

1、mapred-site.xml.template 的修改

打开mapred-site.xml.template，其中 opt是你安装hadoop-2.7.5的目录
打开该文件命令：

vi /opt/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template

输入

<!--使用yarn作为资源管理：local、classic或yarn-->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
 <!--每个job，reduce任务开启个数-->
<property>
        <name>maprd.reduce.tasks</name>
        <value>1</value>
</property>

2、yarn-site.xml的修改

打开yarn-site.xml，其中 opt是你安装hadoop-2.7.5的目录
打开该文件命令：

vi /opt/hadoop-2.7.5/etc/hadoop/yarn-site.xml 

输入：

<!--NodeManager上循行的附属服务，配置为该值表示可以运行MR程序-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!--Yarn的web管理端口-->
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
</property>

3、启动Yarn

1、启动DHFS

start-dfs.sh

2、启动yarn

start-yarn.sh

该项启动的是ResourceManager、NodeManager

实验室环境（学习研究用）

start-all.sh

注意：
三个指令启动的都是集群的（集群中所有的角色都会启动）
启动hadoop集群（集群结点配置的文件同样），只需要选择一个结点执行start-all.sh就行了。

web访问

输入http://master:8080（本虚拟机IP地址：端口号）

测试程序WordCount

1、切换目录至 hadoop-2.7.5/share/hadoop/mapreduce/中
命令：

cd hadoop-2.7.5/share/hadoop/mapreduce/

2、执行hadoop jar指定输入目录和输出目录
命令：

hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /hello.txt /wordcount

输入路径可以是目录也可以是文件，输入目录必须是空目录或者不存在。

3、查看输出结果

hdfs dfs -cat /wordcount/part-r-00000