hive执行job的时候卡死,执行进度总是0%,然后报错的问题分析和解决

因为跨机房业务需要,在另一个机房部署了一个小型的hadoop集群,其中一个节点为namenode无计算节点datanode,而其它两个节点为datanode节点其中每过节点分配50G的内存,总共100G内存资源;而每台机器都是32核CPU,制定最高使用80% 即26核,配置如下:
yarn-site.xml
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>51200</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>26</value>
</property>


因为目前主要是用hive做离线数据分析,一开始数据量少的情况下hive执行基本没什么问题,当我们的业务量上来之后,对应的数据量也上升,突然有一天发现,之前执行得好好的hive任务执行不成功。后来经过这控制台执行发现如下问题:

[img]http://dl2.iteye.com/upload/attachment/0119/9184/e6b78927-5c37-3f73-ae66-4adcd230b670.png[/img]
执行进度总是0%

[img]http://dl2.iteye.com/upload/attachment/0119/9187/635c6429-f327-332e-a9a0-be7e8c721b
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值