Yarn伪分布式部署

MapReduce用来计算的，是jar包提交到Yarn上的，本身不需要部署；

Yarn是用来资源和作业调度的，需要部署

MapReduce on Yarn

 部署过程：

1.  配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

ResourceManager daemon  老大 资源管理者
NodeManager daemon      小弟 节点管理者

 

部署成功后，出现下面的界面（http://117.50.6.123:8088）：

 

 

tips：日志文件所在的位置

.log文件是我们需要查看的日志文件

日志文件的命名规则： hadoop-用户-进程名称-机器名称

 

查看日志文件的三种方法

1. vi :/搜索
2. tail -200f xxx.log(查看log文件的后200行)  另外窗口重启进程 为了再现这个错误
3. sz 下载到本地window，通过notepad++等软件查看