【Spark 调优】Spark 开发调优的十大原则

Spark的调优是面试或者笔试考察的重点：总结下

                                 

                                                                                    1.开发调优： 

原则一：避免创建重复的RDD。

原则二：尽可能复用同一个RDD。

原则三：对多次使用的RDD进行持久化。

原则四：尽量避免使用shuffle类算子 。

原则五：使用map-side预聚合的shuffle操作。

原则六：使用高性能的算子

原则七：广播大变量。

原则八：使用Kryo优化序列化性能。

原则九：优化数据结构。

原则十：对数据进行压缩。

原则十一：合并小文件。