在运行WordCount的时候一直卡在上述位置,去网上查找结局的方法,说是是因为yarn管理的内存资源不够了,于是去修改yarn-site.xml
文件
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
设置最大内存为20GB
最小内存为2GB
虚拟内存和物理内存的比率为2.1
- 然后分发到其他节点,重启,发现没有用
- 于是又换了一种方法:更改mapred-site.xml
将下面的
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
改为
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://master:8001</value>
<final>true</final>
</property>
分发,重启
运行成功