spark submit有哪些参数？

最新推荐文章于 2024-03-26 18:23:48 发布

liyongjun6316

最新推荐文章于 2024-03-26 18:23:48 发布

阅读量371

点赞数

文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/qq_33945243/article/details/129406672

版权

spark submit有哪些参数？

spark-submit是提交Spark应用程序的命令行工具，它有许多参数可以用来指定应用程序的配置和行为。

以下是一些常见的参数：

–class: 指定应用程序的主类名。
–master: 指定Spark集群的URL。可以是"local"（本地模式），“yarn”（YARN模式），“mesos”（Mesos模式）等等。
–deploy-mode: 指定应用程序的部署模式，可以是"client"（客户端模式）或者"cluster"（集群模式）。
–num-executors: 指定应用程序启动的执行器（Executor）的数量。
–executor-memory: 指定每个执行器可用的内存量。
–executor-cores: 指定每个执行器可用的CPU核心数量。
–driver-memory: 指定Driver程序可用的内存量。
–conf: 指定其他Spark配置属性。
例如，下面是一个使用spark-submit提交应用程序的例子：

$ spark-submit \
  --class com.example.MyApp \
  --master yarn \
  --deploy-mode client \
  --num-executors 10 \
  --executor-memory 2g \
  --executor-cores 2 \
  --driver-memory 4g \
  --conf spark.yarn.appMasterEnv.SPARK_HOME=/path/to/spark \
  myapp.jar \
  arg1 arg2

上面的命令将使用YARN模式，在10个执行器上运行名为com.example.MyApp的Spark应用程序，每个执行器有2个CPU核心和2GB内存。Driver程序有4GB内存可用，并将spark.yarn.appMasterEnv.SPARK_HOME属性设置为/path/to/spark。应用程序的主要参数是arg1和arg2。