博客记录了在大数据平台使用Hive进行数据补录时遇到的`GCOverheadLimitExceeded`错误。该错误由于内存不足导致，通过增加Hive和MapReduce的内存配置参数，如`setmapreduce.reduce.memory.mb`、`setmapreduce.map.memory.mb`等，以及启用倾斜Join优化，成功解决了问题，并提升了运行效率。
hive踩坑记录1
使用大数据平台补录数据出错，错误如下：
Error: GC overhead limit exceeded
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRed
during job, obtaining debugging information
原因：内存不足，添加如下参数：
set mapreduce.reduce.memory.mb=5120
set mapreduce.map.memory.mb=5120
set mapreduce.map.java.opts=-Xmx4096m -XX:+UseConcMarkSweepGC
set hive.groupby.skewindata=true
set hive.optimize.skewjoin=true
（运行速度都快了）！
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
