Spark调优问题以及个人建议

程序调优；

⾸先，尽量减少shuffle次数；

//两次shuffle rdd.map().repartition(1000).reduceByKey(_+_,3000)

//⼀次shuffle Rdd.map().repartition(3000).reduceByKey(_+_)

然后必要时主动shuffle，通常⽤于改变并⾏度，提⾼后续分布式运⾏速度； rdd.repartition(largerNumPartition).map() 最后，使⽤treeReduce&treeAggregate替换reduce&aggregate。数据量较⼤时，reduce&aggregate⼀磁性聚 合，shuffle量太⼤，⽽treeReduce&treeAggregate是分批聚合，更为保险。

参数调优；

spark.shuffle.file.buffer:map task到buffer到磁盘

默认值：32K

参数说明：该参数⽤于设置shuffle write task的BufferedOutputStream的buffer缓冲⼤⼩。将数据写到磁盘⽂件之前， 会先写⼊buffer缓冲中，待缓冲写满之后，才会溢写到磁盘；

调优建议：如果作业可⽤的内存资源较为充⾜的话，可以适当增加这个参数的⼤⼩(⽐如64k)，从⽽减少shuffle write过程中溢写磁盘⽂件的次数，也就可以减少磁盘IO次数，进⽽提升性能。在实践中发现，合理调节该参数， 性能会有1到5%的提升。 spark.reducer.maxSizeFlight:reduce task去磁盘拉取数据 默认值：48m

还有就是个人建议：

如果的确不需要sortHashShuffle的排序机制，那么除了使⽤bypass机制，还可以尝试 将spark.shuffle.manager参数⼿动调节为hash，使⽤hashShuffleManager，同时开启consolidate机制。在实践中尝试 过，发现其性能⽐开启了bypass机制的sortshuffleManager要⾼出10%到30%。

spark3.0版本之后就是Spark SQL和Spark Cores是其中的核心模块开启动态分区裁剪了，免去了很多SQL和RDD算子这一块的优化了，如果是项目架构老一点或者是银行之类的项目可能没有更新到spark3.0之后的版本