Spark提交作业的参数

最新推荐文章于 2024-02-05 11:57:33 发布

@Peanut

最新推荐文章于 2024-02-05 11:57:33 发布

阅读量1k

点赞数 1

分类专栏： spark 文章标签： spark

原文链接：https://blog.csdn.net/gamer_gyt/article/details/79135118

版权

spark 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

本文介绍了Spark任务提交的关键参数，如executor-cores、num-executors、executor-memory、driver-cores和driver-memory，并提供了示例配置。通过示例展示了如何使用spark-submit命令行工具进行本地提交，同时提及了指定队列的选项。了解这些参数有助于优化Spark作业的资源分配和性能。

摘要由CSDN通过智能技术生成

Spark是使用shell脚本进行提交

提交任务的几个重要参数

executor-cores —— 每个executor使用的内核数，默认为1，官方建议2-5个
num-executors —— 启动executors的数量，默认为2
executor-memory —— executor内存大小，默认1G
driver-cores —— driver使用内核数，默认为1
driver-memory —— driver内存大小，默认512M

提交样例

spark-submit \
--master local[5]  \
--driver-cores 2   \
--driver-memory 8g \
--executor-cores 4 \
--num-executors 10 \
--executor-memory 8g \
--class PackageName.ClassName XXXX.jar \
--name "Spark Job Name" \
InputPath      \
OutputPath
  
如果这里通过--queue 指定了队列，那么可以免去写--master

原文地址