Hive 动态分区向表插入数据报错 GC overhead limit exceeded (分区过多场景)

问题描述

今天使用hive动态分区向表插入数据时,数据量不大几百万,2015年至今的数据,ods至dw层时按天分区。(华为云服务器 1T内存)
1.表使用的是parquet存储格式。
2.虽然数据量很小,但是分区比较多。

解决过程

1.直接执行hiveSQL 动态分区,调整参数都不行。
2.尝试插入不分区的临时表时,执行很快。(发现原因是分区的原因)
3.调整按月分区,很快完成。
4.再按天分区插入到dw表中,不报错,8分钟完成
5.第四步按天分区时,增加set hive.optimize.sort.dynamic.partition =true;该参数–启用自动排序参数,强制产生reduce任务。–数据量很小,但是分区比较多的情况适用
6.直接适用第五步的参数,ods至dwd动态分区,执行通过,8min完成

总结

–数据量很小,但是分区比较多的情况可以适用下面参数
set hive.optimize.sort.dynamic.partition =true;
–启用自动排序参数,强制产生reduce任务。

  • 0
    点赞
  • 2
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论

打赏作者

39°风

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值