博客讲述了在执行MapReduce任务INSERT_ADD_BD_DW_GENERAL_PUSH时遇到的Java heap space错误，原因是map端的JVM堆空间配置不足。日志显示mapreduce.map.java.opts设置为1G，mapreduce.task.io.sort.mb设为512M，导致内存不足。针对大表数据，解决方案是将mapreduce.task.io.sort.mb增大到100。
任务：INSERT_ADD_BD_DW_GENERAL_PUSH
脚本内容：
hive -v -e "use db_ecar;
set hive.map.aggr.hash.percentmemory = 0.25;
INSERT INTO TABLE BD_DW_GENERAL_PUSH
SELECT t4.USER_ID
,t1.TERMINAL_ID
,t4.OPEN_ID
,substr(t1.LASTUPDATE_TIME,1,10) AS TIME_ID
,t3.CHANNEL_TYPE AS PUSH_ID
,t1.CONTENT_TYPE AS CONTENT_ID
,sum(case when t1.flag in (1,2) then 1 else 0 end ) AS PU
最低0.47元/天 解锁文章
扫一扫
3776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
