Spark部署模式与作业提交

最新推荐文章于 2024-10-01 18:52:18 发布

shangjg3

最新推荐文章于 2024-10-01 18:52:18 发布

阅读量312

点赞数

分类专栏： Spark 文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/shangjg03/article/details/133552984

版权

Spark 专栏收录该内容

31 篇文章 4 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了Spark的作业提交过程，包括spark-submit参数、deploy-mode的选择以及master-url的设置。重点讲解了Local模式、Standalone模式和Spark on Yarn模式的配置、启动和作业提交，特别提到了在不同模式下的driver运行位置和资源管理。同时，针对Standalone模式，详细阐述了环境配置、集群启动、作业提交和常见问题解决。

摘要由CSDN通过智能技术生成

1.作业提交

1.1 spark-submit

Spark 所有模式均使用 `spark-submit` 命令提交作业，其格式如下：

./bin/spark-submit \
  --class <main-class> \        # 应用程序主入口类
  --master <master-url> \       # 集群的 Master Url
  --deploy-mode <deploy-mode> \ # 部署模式