记录一次HiveSQL执行中发生 GC overhead limit exceeded的解决过程

原创已于 2023-11-01 16:13:54 修改 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #jvm

于 2023-10-16 21:22:31 首次发布

文章讲述了在使用HiveSQL通过MapReduce执行查询时遇到的GC回收超时问题，尝试增加内存、调整map数量和关闭Combine功能后，发现Parquet文件的压缩和预聚合导致内存需求过大，最终解决策略是单个map处理大文件并分配足够的内存。

首先，问题是这样的，执行一个HiveSQL的过程中在Map阶段发生了GC回收超时，使用的引擎为MapReduce，sql语句如下：

insert into ads_ais_voyages02 partition (dt)
select *
from ads_ais_voyages_tmp;

默认情况下，map和reduce阶段的内存都设置为2G（一般情况下都是够用的），运行一段时间后报错

在这里插入图片描述

看报错信息，gc回收超时，那先试着把内存加到4G

set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx2048m;
set mapred.reduce.slowstart.completed.maps = 0.95;
set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx2048m;

执行sql，发现还是报同样的错误

在这里插入图片描述
那就再将内存加到6G

set mapreduce.reduce.memory.mb=6144;
set mapreduce.reduce.java.opts=-Xmx3072m;
set mapred.reduce.slowstart.completed.maps = 0.95;
set mapreduce.map.memory.mb=6144;
set mapreduce.map.java.opts=-Xmx3072m;

一执行，发现还是报错，这不应该呀

在这里插入图片描述

真是令人头疼，既然加内存不管用，那就试着将map数量增多，每个map处理的数据量少了，应该就能解决了

set mapred.max.split.size=8192000;
set mapred.min.split.size= 4096000;
set mapred.min.split.size.per.node=4096000;
set mapred.min.split.size.per.rack=4096000;

一执行，结果还是报错，这有点不科学

在这里插入图片描述