Spark 提交参数

目录

提交参数说明

standalone模式

Yarn模式

---

提交参数说明

参数	解释	可选值
--class	spark程序中主函数类
--master	spark程序运行的模式	模式: local[*]、spark://host:port、 yarn、mesos://host:port、k8s://https://host:port
--deploy-mode	driver发送端是client端还是在其中一个worker中启动	client、cluster
--executor-memery	指定每个executor 可用内存
--total-executor-cores	指定所有executor使用的cpu核数
--executor-cores	指定每个executor使用的cpu核数
--driver-memory	driver端内存

standalone模式

本地运行

 bin/spark-submit  --class org.apache.spark.examples.SparkPi --master local[2] ./examples/jars/spark-examples_2.12-3.1.2.jar 10

提交到集群

 bin/spark-submit  --class org.apache.spark.examples.SparkPi --master spark://henghe-052:7077 ./examples/jars/spark-examples_2.12-3.1.2.jar 10

Yarn模式

 bin/spark-submit  --class org.apache.spark.examples.SparkPi --master yarn ./examples/jars/spark-examples_2.12-3.1.2.jar 10