Spark性能优化第二季

一：Task性能优化

1，慢任务（数据倾斜或机器故障）的性能优化:可以考虑减少每个partition处理的数据量，同时建议开启spark.speculation；

2，尽量减少Shuffle，例如我们要减少groupByKey的操作，因为groupByKey会要求通过网络拷贝（Shuffle）所有的数据，有限考虑使用reduceByKey，因为会首先reduce locally；再例如在进行join操作的时候，形如（K1，V1）和（K1，V2）=> （K1，V3）此时就可以进行pipeline，但是（o1）join（o2）=>o3，此时就会产生Shuffle操作；

3，Repatition：增加Task数量的时候可以考虑使用，从而更加充分使用计算资源；Coalesce整理Partition碎片；当partition分片数量由大变小要用Coalesce（其中shuffle=false），而Repartition是无论如何都进行Shuffle；

二：数据倾斜：一般发生在Shuffle

1，定义更加合理的Key（或者说自定义Partitioner）。

2，可以考虑使用ByteBuffer来存储Block，最大的存储数据为2G，如果超过这个大小会报异常；

三：网络性能优化

1，可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性，减少网络的Shuffle；

2，优先采用Netty的方式进行网络通信；

3，广播：例如进行Join操作的时候采用Broadcast可以达到完全的数据本地性的情况下进行Join操作；

4，mapPartitions中的函数会直接作用于整个Partition（一次！！！）；

5，最优先考虑是PROCESS_LOCAL（Spark默认情况下也是这样做的），所以你更应该考虑使用Tachyon；

6，如果要访问HBase或Canssandra，务必保证数据处理发送在数据所在的机器上；可以参考华为的astro的项目中的Task本地化的实现。

ps：前面的Stage执行完了才能执行下一个Stage，前面的Stage中的任一Task没完成，说明这个Stage还没完成，无法进行下一个Stage作业。