1、报错信息
ask with the most failures(4):
-----
Task ID:
task_1472873234260_9322_m_000004
URL:
http://hadoop-namenode1:8088/taskdetails.jsp?jobid=job_1472873234260_9322&tipid=task_1472873234260_9322_m_000004
-----
Diagnostic Messages for this Task:
Error: Java heap space
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
2、根据提示加大了 HADOOP_HEAP 设置,但是错误依旧;
3、后来测试中,设置 set io.sort.mb=10; 默认值是100,问题轻松解决;
其他几个参数: set hive.map.aggr=true; //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题
4、io.sort.mb 的作用
排序所使用的内存数量。
默认值:100M,需要与mapred.child.java.opts相配 默认:-Xmx200m。
不能超过mapred.child.java.opt设置,否则会OOM。
参考:
1、http://www.aboutyun.com/thread-7524-1-1.html
2、http://blog.csdn.net/sanms/article/details/11575143
3、http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html
---------------------
作者:lazythinker
来源:CSDN
原文:https://blog.csdn.net/lazythinker/article/details/52872171
版权声明:本文为博主原创文章,转载请附上博文链接!