一步一步

机器学习 机器视觉

groupByKey一直OOM处理

1、一个任务很简单,就是把2T数据读入,按\t拆分,取里面四个字段,之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了,应该是在拉数据,map之类的。但是只产出19G数据,groupByKey直接处理应该还是绰绰有余的,但现实是我试了一个周末加一天加两个小时,一直FullGC。这个原因不明,对于整个过程内存到底怎么使用还不完全清楚。

这里写图片描述

log一直出现的问题:
这里写图片描述
用小数据很快就完了,所以是性能的问题:
这里写图片描述
2、但确定光groupByKey19G数据还是可以的,所以分两阶段,先把map完数据存在盘上。然后再读这个中间数据,之后再groupByKey,顺利跑完。
这里写图片描述

阅读更多
个人分类: spark
上一篇用GC日志看spark程序是不是在driver,Executor内存效率不高
下一篇MapPartition一次oom问题解决
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭