hadoop执行mapreduce一直卡在mapreduce.Job: Running Job

其实根本原因就是内存不够了。啊啊啊啊啊啊我真的好气，做大数据真的需要一个性能强大的电脑，我电脑开两个虚拟机就已经撑死了cpu都占了90%了，如果开三个的话就会卡死。呜呜呜呜呜呜呜呜好伤心，小王什么时候才能买到MacBook Pro。

鸣谢

感谢这位博主的博客以及他的评论，再次谢谢！

解决问题

1.去修改yarn-site.xml（修改的内容注释为“这是新加的”）

<configuration>
        <!--指定MR走shuffle  -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定ResourceManager的地址  -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop102</value>
        </property>

        <!-- 环境变量的继承 -->
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMOM_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <!-- 这是新加的 -->
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>
</configuration>

2.删除mapred-site.xml中的以下代码

<!-- 指定MapReduce程序运行在Yarn上  -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

删除后的正确代码如下

<configuration>
        <!-- 指定MapReduce程序运行在Yarn上  -->
        <!-- 历史服务器端地址  -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop100:10020</value>
        </property>
        <!-- 历史服务器web端地址   -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop100:19888</value>
        </property>
</configuration>

3.成功后截图

thats alllll
over