Spark Streaming 总结整理(二)：Spark Streaming 性能调优

1. 代码优化部分

1. 多个Action计算最好基于同一个RDD进行计算操作, 并且对相同的RDD进行Cache操作，避免重复计算，增加任务的执行时间；并且持久化级别最好使用MEMORY_ONLY_SER来减少内存使用；

2. 在使用join的地方看是否可以使用map算子和广播变量的方式替代；

3. 使用高效的算子， 例如：

   使用reduceByKey/aggregateByKey来代替groupByKey, 因为前者可以进行combiner操作，减少网络IO;
   使用MapPartition来代替Map操作， 尤其是在需要网络连接的地方；
   使用foreachPartition代替foreach操作，可以对数据进行批量处理；
   在filter操作后，可以使用colease操作，可以减少任务数;

4. 序列化尽量使用Kyro方式, 其性能更好;

5. 减少对复杂数据结构的使用，可以有效减少序列化时间;

6. 对应简单的函数，最好使用闭合结构，可以有效减少网络IO;

7. 使用Repartition操作可以有效增加任务的处理并行度；

2. 参数调整优化部分

经过实践验证，调整后有效的参数如下:

1. 根据资源情况，可以添加Executor的个数来有效，参数为spark.executor.instances
2. 调整每个Executor的使用内核数, 参数为 spark.executor.cores
3. 调整每个Executor的内存， 参数为 spark.executor.memory
4. shuffle write task的buffer大小， 参数为spark.shuffle.file.buffer
5. shuffle read task的buffer大小， 参数为spark.reducer.maxSizeInFlight
6. 每一个stage的task的默认并行度， 默认为200， 建议修改为1000左右， 参数 spark.default.parallelism
7. 用于RDD的持久化使用的内存比例，区分Spark版本，参考：https://blog.csdn.net/super_wj0820/article/details/100543534
8. 用户shuffle使用的内存比例， 区分Spark版本，参考：https://blog.csdn.net/super_wj0820/article/details/100543534

3. 其它优化

1. 增加数据读取的并行度，比如读取Kafka的数据， 可以增加topic的partition数量和executor的个数；

2. 限制读取Kafka数据的速率，参数 ** spark.streaming.kafka.maxRatePerPartition **
   对于存在数据倾斜问题，有两类情况:

3. 进行join操作，产生skew问题， 可以使用map+广播变量类进行处理；

   对redece/aggregate等聚合操作，参数skew问题， 可以进行两次聚合的思想来解决， 核心是先进行key进行随机数操作，是数据分布均匀，并进行聚合，最后是剔除随机数据，用实际数据来进行聚合操作。

参考：

1. https://www.cnblogs.com/gaopeng527/p/4961701.html
2. https://www.cnblogs.com/wq920/p/7099129.html
3. https://www.jianshu.com/p/7ed12f883d42