【Hadoop】Hadoop运行Mapreduce程序一直卡在mapreduce.Job: Running job: job_1617678192164_0001

在运行WordCount的时候一直卡在上述位置，去网上查找结局的方法，说是是因为yarn管理的内存资源不够了，于是去修改yarn-site.xml文件

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

设置最大内存为20GB
最小内存为2GB
虚拟内存和物理内存的比率为2.1

• 然后分发到其他节点，重启，发现没有用
• 于是又换了一种方法：更改mapred-site.xml
  将下面的

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

改为

<property>
      <name>mapreduce.job.tracker</name>
      <value>hdfs://master:8001</value>
      <final>true</final>
 </property>

分发，重启

运行成功