关闭

大数据IMF传奇行动绝密课程第46课:Spark性能优化第二季

标签: spark
101人阅读 评论(0) 收藏 举报
分类:

Spark性能优化第二季

1、Task性能优化
2、数据倾斜性能优化
3、网络性能优化

一、Task性能优化
1、慢任务的性能优化:可以考虑每个Partition处理的数据量,同时建议开启spark.speculation,开启任务推测,在任务还没有完成的情况下开启相同的任务,谁先执行完就执行它。
2、尽量减少Shuffle,例如我们要尽量减少groupByKey的操作,因为groupByKey会要求通过网络拷贝(Shuffle)所有的数据,优先考虑使用reduceByKey,因为reduceByKey会首先reduce locally,再例如在进行join操作的时候,形如(K1,V1)和(K1,V2)=>(K1,V3)此时就可以再进行pipeline,但是(o1) join (o2)=> (o3),此时会产生Shuffle操作;
3、Repartition:增加Task数量的时候可以考虑使用,从而更加充分使用计算资源;
Coalesce:整理Partition碎片;
二、数据倾斜
1、定义更加合理的Key(或者说自定义Partitioner);
2、可以考虑使用ByteBuffer来存储Block,最大的存储数据为2G,如果超过这个大小会报异常;
三、网络
1、可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性,减少网络的Shuffle;
2、优先采用Netty的方式进行网络通信
3、广播:例如进行Join操作的时候采用Broadcast可以达到完全的数据本地性的情况下进行Join操作
4、mapPartitions中的函数会直接作用于整个Partition(一次!)
5、最优先考虑是PROCESS_LOCAL(spark默认情况下这样做),所以更应该考虑使用Tachyon;
6、如果要访问HBase或者Canssandra,务必保证数据处理发生在数据所在的机器上。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:21988次
    • 积分:1356
    • 等级:
    • 排名:千里之外
    • 原创:125篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论