优化数据结构
Java中有三种类型比较耗费内存:
1.对象,每个Java对象都有对象头,引用等额外的信息,因此比较占用内存空间。
2.字符串,每个字符串内部都有一个字符数组以及长度等额外信息。
3.集合类型,比如HashMap、LinkedList等,因为集合类型内部通常会使用一些内部类来封装集合元素,比如Map.Entry。
Spark官方建议,在Spark编码实现中,特别是对于算子函数中的代码,尽量不要使用上诉三种数据结构,尽量使用字符串代替对象,使用原始类型(比如int、long)代替字符串,使用数组代替集合类型,这样尽可能减少内存占用,从而降低GC频率,提升性能。
建议:我们在实际开发中,要做到如上所述,并不容易。我们需要考虑代码可维护性,如果一个代码里面,完全没有抽象,全都是字符串的拼接,对于后面的代码维护和修改难度较大。
所以,应该考虑在适合的时候采取该优化方式,不用盲目使用优化方式。