大数据技术之 Spark 优化

最新推荐文章于 2022-03-03 15:56:52 发布

大数据翻身

最新推荐文章于 2022-03-03 15:56:52 发布

阅读量814

点赞数

文章标签： spark scala 大数据

本文链接：https://blog.csdn.net/qq_56870570/article/details/121521964

版权

本文主要探讨Spark性能调优的第一步——最优资源配置。通过调整--num-executors、--driver-memory、--executor-memory和--executor-cores等参数，可以有效地提升Spark任务的执行效率。在适当范围内增加资源分配能直接改善性能，而过多的资源可能会导致浪费。

摘要由CSDN通过智能技术生成

第 1 章 Spark 性能调优

1.1 常规性能调优

1.1.1 常规性能调优一：最优资源配置

Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。

资源的分配在使用脚本提交 Spark 任务时进行指定，标准的 Spark 任务提交脚本如下所示：

bin/spark-submit \
--class com.atguigu.spark.Analysis \
--master yarn
--deploy-mode cluster
--num-executors 80 \
--driver-memory 6g \
--executor-memory 6g \
--executor-cores 3 \
/usr/opt/modules/spark/jar/spark.jar \

可以进行分配的资源如表所示：

名称	说明
--num-executors	配置 Executor 的数量
--driver-memory	配置 Driver 内存（影响不大）
--executor-memory	配置每个 Executor 的内存大小
--executor-cores	配置每个 Executor 的 CPU core 数量