【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题

【异常描述】
在Hive界面直接执行SQL
Task with the most failures(4): 
-----
Task ID:task_1479051658015_121922_r_000000
URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_1479051658015_121922_r_000000
-----
Diagnostic Messages for this Task:AttemptID:attempt_1479051658015_121922_r_000000_3 Timed out after 300 secs
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 626  Reduce: 1009   Cumulative CPU: 87485.1 sec   HDFS Read: 177424895078 HDFS Write: 150885802688 FAIL
Total MapReduce CPU Time Spent: 1 days 0 hours 18 minutes 5 seconds 100 msec
【解决方法1】
这个问题出现的背景是:表中数据量庞大。问题原因貌似跟内存有关,可能是集群的垃圾回收机制不完善所致。临时解决办法是修改/usr/hdp/2.4.2.0-258/hive/conf下的mapred-site.xml。
修改前:
<proper

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值