Spark性能调优系列：(九)开发调优（优化数据结构）

优化数据结构

Java中有三种类型比较耗费内存：
 

1.对象，每个Java对象都有对象头，引用等额外的信息，因此比较占用内存空间。
2.字符串，每个字符串内部都有一个字符数组以及长度等额外信息。
3.集合类型，比如HashMap、LinkedList等，因为集合类型内部通常会使用一些内部类来封装集合元素，比如Map.Entry。

Spark官方建议，在Spark编码实现中，特别是对于算子函数中的代码，尽量不要使用上诉三种数据结构，尽量使用字符串代替对象，使用原始类型(比如int、long)代替字符串，使用数组代替集合类型，这样尽可能减少内存占用，从而降低GC频率，提升性能。

建议：我们在实际开发中，要做到如上所述，并不容易。我们需要考虑代码可维护性，如果一个代码里面，完全没有抽象，全都是字符串的拼接，对于后面的代码维护和修改难度较大。
所以，应该考虑在适合的时候采取该优化方式，不用盲目使用优化方式。