Spark内存管理及调优

一.对象存储概述

在调整内存使用中有三个方面需要考虑：对象存储所使用的内存【可能希望在内存中存储整个数据集，以方便使用】、访问这些对象的成本及垃圾回收的开销【对象更新频繁】。

默认情况下，Java对象的访问速度很快，但是与其字段内的原始数据相比，它们很容易消耗2-5倍的空间。原因如下：

• 每个不同的Java对象都有一个对象头，大约16个字节，其中包含诸如指向其类的指针之类的信息。对于其中数据很少的对象【例如一个Int字段】，该对象头大小可能大于数据本身。
• Java String类型相对于原始字符串数据有大约40个字节的开销【因为它们将其存储在Chars 数组中并保留诸如长度之类的额外数据】，并且由于UTF-16的内部用法，因此每个字符都存储为两个字节String编码。因此，一个10个字符的字符串可以轻松消耗60个字节。
• 诸如HashMap和通用集合类LinkedList使用链接的数据结构，其中每个条目【例如Map.Entry】都是一个包装对象。该对象不仅具有标题，而且具有指向列表中下一个对象的指针【通常每个指针8个字节】。
• 基本类型的集合通常将它们存储为封装对象，例如java.lang.Integer。

二.内存管理概述

Spark中的内存使用情况大体上属于以下两种类别之一：执行和存储。执行内存是指用于shuffles, joins, sorts和aggregations等操作使用的内存，而存储内存是指用于在集群中缓存和分发内部数据的内存。在Spark中，执行和存储共享一个统一的区域（M）。当不使用执行内存时，存储可以获取所有可用内存，反之亦然。如果有必要，执行可能会释放存储内存，但只有在存储总内存使用量下降到某个阈