大数据IMF传奇行动绝密课程第47课：Spark性能优化第三季

Spark性能优化第三季

一、Spark程序数据结构的优化
1、数据结构优化
2、内存诊断
3、Persist和Checkpoint
1、Java的对象：对象头是16个字节（例如指向对象的指针等元数据信息），如果对象中只有一个int的property，则此时会占据20个字节，也就是说对象的元数据占用了大部分的空间，所以在封装数据的时候尽量不要使用对象。例如使用JSON格式来封装数据。
2、Java中基本数据类型会自动封箱，例如int会自动变成Integer，这会额外增加对象头的空间占用。
3、Java的String在实际占用内存方面要额外使用40个字节（String的内部使用char[]来保存字符序列），另外需要注意的是String中的字符是2个字节（UTF-16），如果内部有5个字符的话，实际上会占用50个字节；
4、Java中的集合List、HashMap等等其内部一般使用链表来实现，具体的每个数据使用Entry等，这些也非常消耗内存；
5、优先使用原生数组，尽可能不要直接使用ArrayList、HashMap、LinkedList等数据结构，例如List list = new ArrayList()需要考虑替换为int[] array = new int[];
6、优先使用String（推荐使用JSON），而不是采用HashMap、List等来封装数据，例如Map