优化数据结构
Java中,有三种类型比较耗费内存:
-
对象,每个Java对象都有对象头、引用等额外的信息,因此比较占用内存空间。
-
字符串,每个字符串内部都有一个字符数组以及长度等额外信息。
-
集合类型,比如HashMap、LinkedList等,因为集合类型内部通常会使用一些内部类来封装集合元素,比如Map.Entry。
因此Spark官方建议,在Spark编码实现中,特别是对于算子函数中的代码,尽量不要使用上述三种数据结构,尽量使用字符串替代对象,使用原始类型(比如Int、Long)替代字符串,使用数组替代集合类型,这样尽可能地减少内存占用,从而降低GC频率,提升性能。
但在实践中,我们往往会发现,要做到该原则其实并不容易。因为我们同时要考虑到代码的可维护性,如果一个代码中,完全没有任何对象抽象,全部是字符串拼接的方式,那么对于后续的代码维护和修改,无疑是一场巨大的灾难。
同理,如果所有操作都基于数组实现,而不使用HashMap、LinkedList等集合类型,那么对于我们的编码难度以及代码可维护性,也是一个极大的挑战。
所以,可以在可能以及合适的情况下,使用占用内存较少的数据结构,但是前提是要保证代码的可维护性。