分享一个hive的 踩坑记录,执行 需要跑MapReduce任务的语句时,报错Error: Java heap space(JAVA 堆空间不足),排查该错误是由于hive任务所使用的内存数量造成的
解决办法:
1、第一个方案
在hive-env.sh中进行更改:
添加
export HADOOP_HEAPSIZE=4096
这个属性
2、第二个方案
设置 set io.sort.mb=10; 默认值是100
io.sort.mb 的作用是排序所使用的内存数量,默认值: 100M,需要与mapred.child.java.opts相配 默认:-Xmx200m,io.sort.mb的值不能超过mapred.child.java.opt的值,否则会报JAVA堆内存不足的错误。
hive踩坑记录之报错:Java heap space
最新推荐文章于 2024-06-21 15:52:44 发布