spark submit 提交脚本的参数详解

最新推荐文章于 2024-07-10 08:00:00 发布

学妹等一下

最新推荐文章于 2024-07-10 08:00:00 发布

阅读量2.3k

点赞数

分类专栏： spark 文章标签： spark submit 脚本参数脚本详解

本文链接：https://blog.csdn.net/kiki_jay/article/details/98212316

版权

本文详细介绍了如何使用`spark submit`命令提交Spark任务，重点解析了常见参数的用法，包括如何配置内存、并行度等关键设置。

摘要由CSDN通过智能技术生成

在将项目打包之后，可能需要将其提交到大数据平台上去跑，这个时候就涉及到脚本处理。这里主要是有关spark的运行任务…一些常用的提交参数配置如下所示：

参数名	参数说明
- -master	master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local
- -deploy-mode	在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client
- -name	应用程序的名称
- -class	应用程序的主类，仅针对 java 或 scala 应用
- -jars	用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下
- -packages	包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
- -exclude-packages	为了避免冲突而指定不包含的 package
- -repositories	远程 repository
- -conf	指定 spark 配置属性的值
- -properties-file	加载的配置文件，默认为 conf/spark-defaults.conf
- -driver-memory	Driver内存，