laozikuzima的博客

转载 spark 性能调优 1万六千字 本文转自网络，如有侵权请联系删除

第一章 Spark 性能调优 1.1常规性能调优 1.1.1常规性能调优一：最优资源配置 Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的， 实现了最优的资源配置后， 在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交 Spark 任务时进行指定， 标准的 Spark 任务提交脚本如代码清单 2-1 所示： 代码清单 ...