hive的调度任务突然报Error: GC overhead limit exceeded
如图:
解决方法:
1. 改写SQL代码 ,不在讨论范围
2.优化Java虚拟机
set mapreduce.map.memory.mb=10150
set mapreduce.reduce.memory.mb=10150
set mapreduce.map.java.opts=-Xmx6144m -XX:+UseConcMarkSweepGC
set mapreduce.reduce.java.opts=-Xmx6144m -XX:+UseConcMarkSweepGC
-Xmx<size>:设置JVM的最大堆大小。
-XX:+UseConcMarkSweepGC:启用并发标记清除垃圾回收器。
任务调度成功: