spark动态资源分配参数一览

最新推荐文章于 2024-07-19 17:32:19 发布

Lestat.Z.

最新推荐文章于 2024-07-19 17:32:19 发布

阅读量2.2k

点赞数

分类专栏： Spark学习随笔 Spark 文章标签： spark

本文链接：https://blog.csdn.net/yolohohohoho/article/details/107340291

版权

本文深入探讨了Spark的动态资源分配机制，详细解析了相关配置参数，包括`dynamicAllocation.enabled`、`spark.executor.instances`、`spark.scheduler.minExecutors`和`spark.scheduler.maxExecutors`等，旨在帮助用户优化集群资源利用率和作业执行效率。

摘要由CSDN通过智能技术生成

属性默认值含义自版本

属性	默认值	含义	自版本
`spark.dynamicAllocation.enabled`	false	是否使用动态资源分配，该资源分配将根据工作负载上下扩展在此应用程序中注册的执行程序的数量。这需要设置spark.shuffle.service.enabled或spark.dynamicAllocation.shuffleTracking.enabled。以下配置也相关：spark.dynamicAllocation.minExecutors，spark.dynamicAllocation.maxExecutors和spark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.executorAllocationRatio	1.2.0
`spark.dynamicAllocation.executorIdleTimeout`	60s	如果启用了动态分配，并且执行器闲置了超过此持续时间，则该执行器将被删除。有关更多详细信息，请参见此描述。如果启用了动态分配，并且执行器闲置时间超过了此持续时间，则该执行器将被删除。	1.2.0

spark.dynamicAllocation.enabled

false

是否使用动态资源分配，该资源分配将根据工作负载上下扩展在此应用程序中注册的执行程序的数量。

这需要设置spark.shuffle.service.enabled或spark.dynamicAllocation.shuffleTracking.enabled。以下配置也相关：spark.dynamicAllocation.minExecutors，spark.dynamicAllocation.maxExecutors和spark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.executorAllocationRatio

1.2.0

spark.dynamicAllocation.executorIdleTimeout 60s 如果启用了动态分配，并且执行器闲置了超过此持续时间，则该执行器将被删除。有关更多详细信息，请参见此描述。如果启用了动态分配，并且执行器闲置时间超过了此持续时间，则该执行器将被删除。 1.2.0