一.对象存储概述
在调整内存使用中有三个方面需要考虑:对象存储所使用的内存【可能希望在内存中存储整个数据集,以方便使用】、访问这些对象的成本及垃圾回收的开销【对象更新频繁】。
默认情况下,Java对象的访问速度很快,但是与其字段内的原始数据相比,它们很容易消耗2-5倍的空间。原因如下:
- 每个不同的Java对象都有一个对象头,大约16个字节,其中包含诸如指向其类的指针之类的信息。对于其中数据很少的对象【例如一个Int字段】,该对象头大小可能大于数据本身。
- Java String类型相对于原始字符串数据有大约40个字节的开销【因为它们将其存储在Chars 数组中并保留诸如长度之类的额外数据】,并且由于UTF-16的内部用法,因此每个字符都存储为两个字节String编码。因此,一个10个字符的字符串可以轻松消耗60个字节。
- 诸如HashMap和通用集合类LinkedList使用链接的数据结构,其中每个条目【例如Map.Entry】都是一个包装对象。该对象不仅具有标题,而且具有指向列表中下一个对象的指针【通常每个指针8个字节】。
- 基本类型的集合通常将它们存储为封装对象,例如java.lang.Integer。
二.内存管理概述
Spark中的内存使用情况大体上属于以下两种类别之一:执行和存储。执行内存是指用于shuffles, joins, sorts和aggregations等操作使用的内存,而存储内存是指用于在集群中缓存和分发内部数据的内存。在Spark中,执行和存储共享一个统一的区域(M)。当不使用执行内存时,存储可以获取所有可用内存,反之亦然。如果有必要,执行可能会释放存储内存,但只有在存储总内存使用量下降到某个阈