Spark 应用程序部署工具spark-submit

@SmartSi

已于 2024-08-14 06:55:14 修改

阅读量6.5k

点赞数 3

分类专栏： # Spark 大数据开源生态文章标签： spark spark-submit

于 2017-02-16 20:08:53 首次发布

本文链接：https://blog.csdn.net/SunnyYoona/article/details/55271395

版权

大数据开源生态同时被 2 个专栏收录

70 篇文章 6 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Spark

43 篇文章 1 订阅

订阅专栏

本文介绍了 Spark 的提交工具 spark-submit，包括如何打包应用依赖，使用 spark-submit 启动应用程序，以及各种部署模式和配置选项。重点讲解了 --class、--master、--deploy-mode 等关键参数，同时提到了集群管理器的 Master URLs 和从文件加载配置的方法。

摘要由CSDN通过智能技术生成

1. 简介

Spark 的 bin 目录下的 spark-submit 脚本用来在集群上启动应用程序。可以通过一个统一的接口使用 Spark 支持的所有集群管理器，这样就不必为每个集群管理器单独配置提交应用程序。

2. 语法

xiaosi@yoona:~/opt/spark-2.1.0-bin-hadoop2.7$ spark-submit --help
Usage: spark-submit [options] <app jar | python file> [app arguments]
Usage: spark-submit --kill [submission ID] --master [spark://...]
Usage: spark-submit --status [submission ID] --master [spark://...]
Usage: spark-submit run-example [options] example-class [example args]

Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.
  --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client&