groupByKey一直OOM处理

原创 2017年09月13日 11:35:16

1、一个任务很简单,就是把2T数据读入,按\t拆分,取里面四个字段,之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了,应该是在拉数据,map之类的。但是只产出19G数据,groupByKey直接处理应该还是绰绰有余的,但现实是我试了一个周末加一天加两个小时,一直FullGC。这个原因不明,对于整个过程内存到底怎么使用还不完全清楚。

这里写图片描述

log一直出现的问题:
这里写图片描述
用小数据很快就完了,所以是性能的问题:
这里写图片描述
2、但确定光groupByKey19G数据还是可以的,所以分两阶段,先把map完数据存在盘上。然后再读这个中间数据,之后再groupByKey,顺利跑完。
这里写图片描述

带你从头到尾梳理大图片加载OOM处理问题

我们在编写Android程序的时候经常要用到许多图片,不同图片总是会有不同的形状、不同的大小,但在大多数情况下,这些图片都会大于我们程序所需要的大小。比如说系统图片库里展示的图片大都是用手机摄像头拍出...
  • itguangit
  • itguangit
  • 2016年08月06日 23:11
  • 1478

bitmap的处理,尽量避免OOM

bitmap压缩处理,远离OOM
  • wuzhipeng1991
  • wuzhipeng1991
  • 2014年08月19日 09:58
  • 1596

Android 的一些基本概念和OOM异常的处理方法

一些基本的概念 ActivityManagerServices,简称AMS,服务端对象,负责系统中所有的Activity的生命周期 ActivityThread,App的真正入口。当开启App之后,会...
  • u010257931
  • u010257931
  • 2016年07月06日 10:35
  • 1345

处理android bitmap oom 2.0版本

  • 2013年05月05日 10:14
  • 1.06MB
  • 下载

内存处理防OOM

  • 2014年06月11日 14:08
  • 5.82MB
  • 下载

Android 图片下载以及内存处理防止OOM内存溢出 源码

  • 2015年10月21日 08:50
  • 1.66MB
  • 下载

处理android bitmap oom 2.0版本关闭了硬件加速

  • 2013年05月05日 12:05
  • 1.06MB
  • 下载

处理android bitmap oom

  • 2013年05月05日 00:00
  • 1.06MB
  • 下载

android之Gif处理(解决GIF显示容易OOM问题,包括代码和说明),非常详细的介绍

  • 2014年03月31日 17:46
  • 1.77MB
  • 下载

经典源码图片处理防止OOM Listview Viewpager

  • 2013年06月18日 10:45
  • 3.22MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:groupByKey一直OOM处理
举报原因:
原因补充:

(最多只允许输入30个字)