Spark性能调优----代码方面的优化

 

---

Spark性能调优之代码方面的优化

1.避免创建重复的RDD

    对性能没有问题，但会造成代码混乱

 

2.尽可能复用同一个RDD，减少产生RDD的个数

 

3.对多次使用的RDD进行持久化（cache,persist,checkpoint）

如何选择一种最合适的持久化策略？

     默认MEMORY_ONLY, 性能很高， 而且不需要复制一份数据的副本，远程传送到其他节点上（BlockManager中的BlockTransferService），但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种

策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化

级别，会导致JVM的OOM内存溢出异常。

    如果使用 MEMORY_ONLY级别时发生了内存溢出，建议尝试使用MEMORY_ONLY_SER级别，该级别会将RDD数据序列化后再保存在内存中，此时每个 partition仅仅是一个字节数组而已，大大减少了对象数量，并降低了内存占用。 这种级别 比MEMORY_ONLY多出来的性能开销，主要就是序列化与反序列化的开销。

     如果纯内存的级别都无法使用，那么建议使用MEMORY_AND_DISK_SER策略，而不是