Spark系列（2）—— Spark部署模式与作业提交

shangjg3

已于 2025-01-07 11:14:31 修改

阅读量327

点赞数

分类专栏：大数据从入门到精通文章标签： spark 大数据分布式

于 2023-10-05 04:00:00 首次发布

本文链接：https://blog.csdn.net/shangjg03/article/details/133552984

版权

大数据从入门到精通专栏收录该内容

95 篇文章 6 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了Spark的作业提交过程，包括spark-submit参数、deploy-mode的选择以及master-url的设置。重点讲解了Local模式、Standalone模式和Spark on Yarn模式的配置、启动和作业提交，特别提到了在不同模式下的driver运行位置和资源管理。同时，针对Standalone模式，详细阐述了环境配置、集群启动、作业提交和常见问题解决。

摘要由CSDN通过智能技术生成

1.作业提交

1.1 spark-submit

Spark 所有模式均使用 `spark-submit` 命令提交作业，其格式如下：

./bin/spark-submit \
  --class <main-class> \        # 应用程序主入口类
  --master <master-url> \       # 集群的 Master Url
  --deploy-mode <deploy-mode> \ # 部署模式