【甘道夫】Spark1.3.0 Submitting Applications 官方文档精华摘要

引言

由于工作需要，即将拥抱Spark，曾经进行过相关知识的学习，现在计划详细读一遍最新版本Spark1.3的部分官方文档，一是复习，二是了解最新进展，三是为公司团队培训做储备。

---

欢迎转载，请注明出处：

http://blog.csdn.net/u010967382/article/details/45062381

---

原文URL： http://spark.apache.org/docs/latest/submitting-applications.html

该文档重点介绍如何将编写好的 Spark 应用程序提交到Spark集群中运行。

首先需要将应用程序的所有依赖都打包到应用程序jar中。

注意，无需将Spark和Hadoop作为依赖包加入集合jar中，因为在运行时Cluster Manager会提供这些系统级的依赖。

一旦程序打包好了，就可以通过bin/spark-submit脚本将应用程序提交给Spark集群。

bin/spark-submit脚本格式如下：

./bin/spark-submit \

  --class <main-class>

  --master <master-url> \

  --deploy-mode <deploy-mode> \

  --conf <key>=<value> \

  ... # other options

  <application-jar> \

  [application-arguments]

一些常用的选项包括：

• --class: 应用程序的入口类，包含main方法；
  
• --master: 集群中Master节点的URL(e.g. spark://23.195.26.187:7077) ，该参数一言难尽，后面有详细说明；
  
• --deploy-mode: 决定你的driver程序的运行位置，cluster模式是运行在worker节点上，client模式是运行在集群外部。默认是client模式；
  
• --conf: 任意Spark的基础属性配置，用key=value格式；
  
• application-jar: 指向应用程序jar包的路径，路径必须全局可见，要么是一个hdfs路径，要么是一个所有node本地都有的文件路径；
  
• application-arguments: 应用程序接收的参数。
  

关于-- deploy-mode参数：

• client模式：一个常见的部署策略是从一台网关机器提交你的应用程序，这台机器和你的worker机器物理上很接近（例如集群中的Master节点）。在这样的场景下，client模式就非常适合。在client模式中，driver程序直接在spark-submit进程中启动，spark-submit进程对于集群来说就是一个客户端程序。应用程序的输入和输出都会通过控制台。这样的话，client模式就尤其适合包含REPL（“读取-求值-输出”循环，英语:Read-Eval-Print Loop,简称REPL）的应用程序，比如Spark shell。
  
• cluster模式：另一个经典场景，cluster模式，如果你的应用程序从一台离workder机器较远的机器提交（例如从你的笔记本电脑上提交），通常会通过cluster模式来最小化driver和executors之间的网络延迟。注意，cluster模式现在尚未支持Mesos集群或者Python应用程序。
  

关于-- master参数：

Master URL	Meaning
local	Run Spark locally with one worker thread (i.e. no parallelism at all).
local[K]	Run Spark locally with K worker threads (ideally, set this to the number of cores on your machine).
local[*]	Run Spark locally with as many worker threads as logical cores on your machine.
spark://HOST:PORT	Connect to the given Spark standalone cluster master. The port must be whichever one your master is configured to use, which is 7077 by default.
mesos://HOST:PORT	Connect to the given Mesos cluster. The port must be whichever one your is configured to use, which is 5050 by default. Or, for a Mesos cluster using ZooKeeper, use mesos://zk://....
yarn-client	Connect to a YARN cluster in client mode.  The cluster location will be found based on the HADOOP_CONF_DIR variable.
yarn-cluster	Connect to a YARN cluster in cluster mode.  The cluster location will be found based on HADOOP_CONF_DIR.

spark-submit脚本将 默认读取conf/spark-defaults.conf中的配置属性，我们可以在 conf/spark-defaults.conf文件中做好基础属性的配置，就无需在 spark-submit脚本中重复指定了， 例如，如果spark.master属性已经设置了，你就可以不用在调用spark-submit脚本时再次传入spark.master参数。