Hadoop-2.7.3集群卡在INFO mapreduce.Job: Running job: job_1457182697428_0001

该篇文章是在完全分布式的前提下。

看了网上的一些说法，主要有2种方法：

方法一：

说的是修改yarn-site.xml配置文件。

其主要属性如下：

（1）yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

（2）yarn.nodemanager.vmem-pmem-ratio

任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。

（3） yarn.nodemanager.pmem-check-enabled

是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（4） yarn.nodemanager.vmem-check-enabled

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（5）yarn.scheduler.minimum-allocation-mb

单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。

（6）yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量，默认是8192（MB）。

然后，在yarn-site.xml中添加：

1. <property>  
2.     <name>yarn.nodemanager.resource.memory-mb</name>  
3.     <value>20480</value>  
4. </property>  
5. <property>  
6.    <name>yarn.scheduler.minimum-allocation-mb</name>  
7.    <value>2048</value>  
8. </property>  
9. <property>  
10.     <name>yarn.nodemanager.vmem-pmem-ratio</name>  
11.     <value>2.1</value>  
12. </property>  

但是方法一我用了，还是没有解决问题，不知道是什么原因。

方法二：

 将mapred-site.xml配置文档修改如下：

 <configuration>
        <property>
            <name>mapreduce.job.tracker</name>
            <value>hdfs://192.168.8.4:8001</value>
            <final>true</final>
        </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>Master:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>Master:19888</value>
        </property>
</configuration>

192.168.8.4是我的Master

重启hadoop后，结果运行流畅。

运行的方式如下：

先执行:hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

然后执行：hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'