spark程序提交设置

官网地址：http://spark.apache.org/docs/latest/submitting-applications.html

1。格式

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

• –class 入口类
• –master 执行 master url 路径 下边具体介绍
• –deploy-mode 部署模式 默认client （cluster）
• –conf 配置属性 k-value结构
• application-jar 项目路径
• application-arguments 项目参数

2。master种类：

• local 本地单线程
• local[K] 本地多线程（指定K个内核）
• local[*] 本地多线程（指定所有可用内核）
• spark://HOST:PORT 连接到指定的 Spark standalone cluster
  master，需要指定端口。
• mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。
• yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
• yarn-cluster集群模式 连接到 YARN 集群，需要配置 HADOOP_CONF_DIR。