Spark-submit提交作业

最新推荐文章于 2023-10-20 14:06:27 发布

U2014684

最新推荐文章于 2023-10-20 14:06:27 发布

阅读量469

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/m0_38028800/article/details/88795235

版权

本文介绍了如何使用`spark-submit`命令提交Spark作业，包括常见的命令实例和部分关键参数的解释，详细参考资料链接见官方文档。

摘要由CSDN通过智能技术生成

提交命令：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

常用命令举例：

# Run application locally on 8 cores
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mo