一:Task性能优化
1,慢任务(数据倾斜或机器故障)的性能优化:可以考虑减少每个partition处理的数据量,同时建议开启spark.speculation;
2,尽量减少Shuffle,例如我们要减少groupByKey的操作,因为groupByKey会要求通过网络拷贝(Shuffle)所有的数据,有限考虑使用reduceByKey,因为会首先reduce locally;再例如在进行join操作的时候,形如(K1,V1)和(K1,V2)=> (K1,V3)此时就可以进行pipeline,但是(o1)join(o2)=>o3,此时就会产生Shuffle操作;
3,Repatition:增加Task数量的时候可以考虑使用,从而更加充分使用计算资源;Coalesce整理Partition碎片;当partition分片数量由大变小要用Coalesce(其中shuffle=false),而Repartition是无论如何都进行Shuffle;
二:数据倾斜:一般发生在Shuffle
1,定义更加合理的Key(或者说自定义Partitioner)。
2,可以考虑使用ByteBuffer来存储Block,最大的存储数据为2G,如果超过这个大小会报异常;
三:网络性能优化
1,可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性,减少网络的Shuffle;
2,优先采用Netty的方式进行网络通信;
3,广播:例如进行Join操作的时候采用Broadcast可以达到完全的数据本地性的情况下进行Join操作;
4,mapPartitions中的函数会直接作用于整个Partition(一次!!!);
5,最优先考虑是PROCESS_LOCAL(Spark默认情况下也是这样做的),所以你更应该考虑使用Tachyon;
6,如果要访问HBase或Canssandra,务必保证数据处理发送在数据所在的机器上;可以参考华为的astro的项目中的Task本地化的实现。
ps:前面的Stage执行完了才能执行下一个Stage,前面的Stage中的任一Task没完成,说明这个Stage还没完成,无法进行下一个Stage作业。