groupByKey一直OOM处理

1、一个任务很简单，就是把2T数据读入，按\t拆分，取里面四个字段，之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了，应该是在拉数据，map之类的。但是只产出19G数据，groupByKey直接处理应该还是绰绰有余的，但现实是我试了一个周末加一天加两个小时，一直FullGC。这个原因不明，对于整个过程内存到底怎么使用还不完全清楚。

log一直出现的问题：

用小数据很快就完了，所以是性能的问题：

2、但确定光groupByKey19G数据还是可以的，所以分两阶段，先把map完数据存在盘上。然后再读这个中间数据，之后再groupByKey,顺利跑完。