一、参数调优:
提交任务参数请参考这篇文章(包括优化建议):Spark部署模式、任务提交 - GoAl
• 第二块:task通过shuffle过程拉取上一个stage的task的输出后,进行聚合等操作时默认也是占Executor总内存的20%,使用Task的执行速度和每个executor进程的CPU Core数量有直接关系,一个CPU Core同一时间只能执行一个线程,每个executor进程上分配到的多个task,都是以task一条线程的方式,多线程并发运行的。如果CPU Core数量比较充足,而且分配到的task数量比较合理,那么可以比较快速和高效地执行完这些task线程
• 第三块:让RDD持久化时使用,默认占executor总内存的60%
二、开发调优
![](https://i-blog.csdnimg.cn/blog_migrate/b9977b61768980159ccd954115602d2d.png)
原则一:避免创建重复的RDD
– 对同一份数据,只应该创建一个RDD,不能创建多个RDD来代表同一份数据
– 极大浪费内存
![](https://i-blog.csdnimg.cn/blog_migrate/54fdacd9dc4ff4e8e1b8ebf8879628c7.png)
原则二:尽可能复用同一个RDD
– 比如:一个RDD数据格式是key-value,另一个是单独value类型,这两个RDD的value部分完
全一样,这样可以复用达到减少算子执行次数
![](https://i-blog.csdnimg.cn/blog_migrate/4d294817b82d468755b8f4b53b02801b.png)
原则三:对多次使用的RDD进行持久化处理
– 每次对一个RDD执行一个算子操作时,都会重新从源头处理计算一遍,计算出那个RDD出来,然后进一步操作,这种方式性能很差
– 对多次使用的RDD进行持久化,将RDD的数据保存在内存或磁盘中,避免重复劳动
– 借助cache()和persist()方法
![](https://i-blog.csdnimg.cn/blog_migrate/002d206f97363abc4d78ec23569262f0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/607783618e8c074598da757b2b7408ea.png)
原则四:避免使用shuffle类算子
– 在spark作业运行过程中,最消耗性能的地方就是shuffle过程
– 将分布在集群中多个节点上的同一个key,拉取到同一个节点上,进行聚合和join处理,比如
groupByKey(下图一)、reduceByKey、join(下图二)等算子,都会触发shuffle
![](https://i-blog.csdnimg.cn/blog_migrate/0227755547aef6a2b62d4f6c44368d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b8f40796847ee1d7cb62d8d0a3f59e4.png)
原则五:使用map-side预聚合的shuffle操作
– 一定要使用shuffle的,无法用map类算子替代的,那么尽量使用map-site预聚合的算子
– 思想类似MapReduce中的Combiner
– 可能的情况下使用reduceByKey或aggregateByKey算子替代groupByKey算子,因为
reduceByKey或aggregateByKey算子会使用用户自定义的函数对每个节点本地相同的key进行
预聚合,而groupByKey算子不会预聚合
![](https://i-blog.csdnimg.cn/blog_migrate/444d1f3e688f28fbb41b69979c54d127.png)
原则六:使用Kryo优化序列化性能
– Kryo是一个序列化类库,来优化序列化和反序列化性能
– Spark默认使用Java序列化机制(ObjectOutputStream/ ObjectInputStream API)进行序列
化和反序列化
– Spark支持使用Kryo序列化库,性能比Java序列化库高很多,10倍左右
![](https://i-blog.csdnimg.cn/blog_migrate/dc64102d373aa83964b10c71adc2b4d2.png)