spark性能调优（二）之资源调优

置顶

moshang_find

已于 2022-02-17 14:41:47 修改

阅读量554

点赞数

分类专栏： spark 文章标签： spark性能调优 spark资源调优 spark调优详解

于 2019-07-01 11:42:10 首次发布

本文链接：https://blog.csdn.net/moshang_3377/article/details/93312264

版权

本文深入探讨Spark性能调优中的资源管理，包括num-executors、executor-memory、executor-cores、driver-memory、spark.default.parallelism、spark.storage.memoryFraction和spark.shuffle.memoryFraction等关键参数的详细说明及调优建议，旨在帮助优化Spark作业的运行效率。

摘要由CSDN通过智能技术生成

前言：
理解资源调优，说白了就是为spark程序提供合理的内存资源、cpu资源等。所以需要知道有哪些参数可以设置这些资源。

一、spark-submit脚本

–conf PROP=VALUE	手动给sparkConf指定相关配置，比如–conf spark.serializer=org.apache.spark.serializer.KryoSerializer
–properties-file FILE	如果配置项比较多，或者接收的配置是个文件，我们就可以使用这种文件
–driver-memory	driver程序内存大小，默认值1G
–executor-memory	每一个executor的内存大小，默认1G
–driver-cores	在standalone的cluster模式下面生效，driver的cpu core，因为在这种模式下面driver是有worker启动的，和executor一样在集群中运行。client模式下面driver不在spark集群中启动，也就不会占用spark集群的资源。
–total-executor-cores	在standalone的生效，总的executor的cpu core的个数
–supervise	在standalone的cluster模式下面生效，如果driver启动失败，会有spark集群负责重新启动。driver ha的配置的两个必不可少的条件：–deploy-mode cluster、–supervise
–executor-cores	在standalone和yarn模式的生效，每一个executor的cpu core个数。total-executor-core/executor-cores=executor的个数
–num-executors

最低0.47元/天解锁文章