groupByKey一直OOM处理

原创 2017年09月13日 11:35:16

1、一个任务很简单,就是把2T数据读入,按\t拆分,取里面四个字段,之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了,应该是在拉数据,map之类的。但是只产出19G数据,groupByKey直接处理应该还是绰绰有余的,但现实是我试了一个周末加一天加两个小时,一直FullGC。这个原因不明,对于整个过程内存到底怎么使用还不完全清楚。

这里写图片描述

log一直出现的问题:
这里写图片描述
用小数据很快就完了,所以是性能的问题:
这里写图片描述
2、但确定光groupByKey19G数据还是可以的,所以分两阶段,先把map完数据存在盘上。然后再读这个中间数据,之后再groupByKey,顺利跑完。
这里写图片描述

相关文章推荐

避免使用GroupByKey

有两种方法实现wordcount,一种是使用reduceByKey,另一种是使用groupByKey。 val words = Array("one", "two", "two", "three",...

内存处理防OOM

  • 2014年06月11日 14:08
  • 5.82MB
  • 下载

掌握OOM异常的处理,并可以对应用进行相应的优化

一、内存溢出如何产生的 Android的虚拟机是基于寄存器的Dalvik,它的最大堆大小一般是16M,有的机器为24M。因此我们所能利用的内存空间是有限的。如果我们的内存占用超过了一定的水平就会出现...

处理android bitmap oom 2.0版本

  • 2013年05月05日 10:14
  • 1.06MB
  • 下载

Android 大图压缩处理,避免OOM

一、遇到问题:      Android的开发的小伙伴在项目中有时遇到多张大图片的加载,图片的类型是多种多样,不同大小。但是大多数的图片都是高分辨率,总体来说,远远大于我们要展示的容器ImageVie...

处理android bitmap oom

  • 2013年05月05日 00:00
  • 1.06MB
  • 下载

基础知识记录:OOM异常出现的情况与处理方式

1、 查询内存情况 :通过Android Studio的Memory Monitor查看内存中Dalvik Heap的实时变化2、 异常出现的情况 :当之前分配的内存+新分配的内存超出系统分配...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:groupByKey一直OOM处理
举报原因:
原因补充:

(最多只允许输入30个字)