java heap space默认值_HIVE 语句执行 中报错:Java heap space

1、报错信息 ask with the most failures(4): ----- Task ID:   task_1472873234260_9322_m_000004 URL:   http://hadoop-namenode1:8088/taskdetails.jsp?jobid=job_1472873234260_9322&tipid=task_1472873234260_9322_m_000004 ----- Diagnostic Messages for this Task: Error: Java heap space FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 2、根据提示加大了 HADOOP_HEAP 设置,但是错误依旧; 3、后来测试中,设置 set io.sort.mb=10;  默认值是100,问题轻松解决;      其他几个参数: set hive.map.aggr=true; //在map端做部分聚合                            set hive.groupby.skewindata=true;//解决数据倾斜问题 4、io.sort.mb 的作用   排序所使用的内存数量。   默认值:100M,需要与mapred.child.java.opts相配 默认:-Xmx200m。   不能超过mapred.child.java.opt设置,否则会OOM。 参考:   1、http://www.aboutyun.com/thread-7524-1-1.html   2、http://blog.csdn.net/sanms/article/details/11575143   3、http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值