1、报错信息 ask with the most failures(4): ----- Task ID: task_1472873234260_9322_m_000004 URL: http://hadoop-namenode1:8088/taskdetails.jsp?jobid=job_1472873234260_9322&tipid=task_1472873234260_9322_m_000004 ----- Diagnostic Messages for this Task: Error: Java heap space FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 2、根据提示加大了 HADOOP_HEAP 设置,但是错误依旧; 3、后来测试中,设置 set io.sort.mb=10; 默认值是100,问题轻松解决; 其他几个参数: set hive.map.aggr=true; //在map端做部分聚合 set hive.groupby.skewindata=true;//解决数据倾斜问题 4、io.sort.mb 的作用 排序所使用的内存数量。 默认值:100M,需要与mapred.child.java.opts相配 默认:-Xmx200m。 不能超过mapred.child.java.opt设置,否则会OOM。 参考: 1、http://www.aboutyun.com/thread-7524-1-1.html 2、http://blog.csdn.net/sanms/article/details/11575143 3、http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html
java heap space默认值_HIVE 语句执行 中报错:Java heap space
最新推荐文章于 2024-01-03 04:00:00 发布