Spark性能调优系列目录:
普通调优
Jvm调优
shuffle调优
- shuffle 调优之原理概述
- shuffle 调优之合并map端的输出
- shuffle 调优之条件map端内存缓存与reduce端内存占比
- Shuffle 调优之 HashShuffleManager 和 SortShuffleManager
算子调优
- 算子调优之MapPartitions提升Map类操作性能
- 算子调优之filter过后使用coalesce减少分区数量
- 算子调优之使用foreachPartition优化写数据库性能
- 算子调优之使用repartition解决Spark SQL低并行度的性能问
- 算子调优之reduceByKey本地聚合介绍