因为跨机房业务需要,在另一个机房部署了一个小型的hadoop集群,其中一个节点为namenode无计算节点datanode,而其它两个节点为datanode节点其中每过节点分配50G的内存,总共100G内存资源;而每台机器都是32核CPU,制定最高使用80% 即26核,配置如下:
yarn-site.xml
因为目前主要是用hive做离线数据分析,一开始数据量少的情况下hive执行基本没什么问题,当我们的业务量上来之后,对应的数据量也上升,突然有一天发现,之前执行得好好的hive任务执行不成功。后来经过这控制台执行发现如下问题:
[img]http://dl2.iteye.com/upload/attachment/0119/9184/e6b78927-5c37-3f73-ae66-4adcd230b670.png[/img]
执行进度总是0%
[img]http://dl2.iteye.com/upload/attachment/0119/9187/635c6429-f327-332e-a9a0-be7e8c721b
yarn-site.xml
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>51200</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>26</value>
</property>
因为目前主要是用hive做离线数据分析,一开始数据量少的情况下hive执行基本没什么问题,当我们的业务量上来之后,对应的数据量也上升,突然有一天发现,之前执行得好好的hive任务执行不成功。后来经过这控制台执行发现如下问题:
[img]http://dl2.iteye.com/upload/attachment/0119/9184/e6b78927-5c37-3f73-ae66-4adcd230b670.png[/img]
执行进度总是0%
[img]http://dl2.iteye.com/upload/attachment/0119/9187/635c6429-f327-332e-a9a0-be7e8c721b