hive的聚合查询时,提交了mapreduce任务,hive的聚合查询假死也就是mapreduce提交任务时出现了问题
以上两个问题,是属于同一个问题。问题原因是NodeManager分配的物理内存太小,任务无法提交,导致假死现象。
yarn.nodemanager.resource.memory-mb介绍:
yarn.nodemanager.resource.memory.mb的值表示节点分配给NodeManager的总的可用物理内存,也就是节点用来执行yarn任务的内存大小。这个值要根据实际服务器内存大小来配置。
可以通过两种方法修改:
一种是通过命令行修改配置文件,找到yarn-site.xml配置文件加入下面内容:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem