Ambari2.7.3-Spark2.3.2提交任务

Master URL	Meaning
local	在本地运行，只有一个工作进程，无并行计算能力
local[K]	在本地运行，有 K 个工作进程，通常设置 K 为机器的CPU 核心数量
local[*]	在本地运行，工作进程数量等于机器的 CPU 核心数量
Spark://HOST:PORT	以 Standalone 模式运行，这是 Spark 自身提供的集群运行模式，默认端口号: 7077
mesos://HOST:PORT	在 Mesos 集群上运行，Driver 进程和 Worker 进程运行在 Mesos 集群上，部署模式必须使用固定值:–deploy-mode cluster
yarn-client	在 Yarn 集群上运行，Driver 进程在本地， Work 进程在 Yarn 集群上， 部署模式必须使用固定值:–deploy-modeclient。Yarn 集群地址必须在HADOOP_CONF_DIRorYARN_CONF_DIR 变量里定义
yarn-cluster效率比yarn-client高	在 Yarn 集群上运行，Driver 进程在 Yarn 集群上，Work 进程也在 Yarn 集群上，部署模式必须使用固定值:–deploy-mode cluster。Yarn 集群地址必须在HADOOP_CONF_DIRorYARN_CONF_DIR 变量里定义

1.本地运行模式 （单机）

spark-shell --master local

 

spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local \ /usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \ 100

 

2.spark standalone模式【必须启动master和worker】

spark-shell --master spark://master:7077

提交任务： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://masterhd.bigdata:7077 \ --executor-memory 2G \ # 指定每个worker可用内存为2G --total-executor-cores 2 \ # 指定整个集群使用的cup核数为2个 /usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \ 100

3.spark on yarn-client模式【一定别启动master和worker】

Ambari集群下，默认启动spark-shell是yarn模式 spark-shell

 

 spark-shell --master yarn-client`(过时)
 `spark-shell --master yarn --deploy-mode client

 

 提交任务：
 spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master yarn-client \
 /usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
 100
 上面的命令已过时，请使用下面最新的命令：
 spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master yarn \
 --deploy-mode client \
 /usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
 100
 ​

 

4.spark on yarn-cluster模式【一定别启动master和worker】

 提交任务
 spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master yarn-cluster \
 /usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
 100
 上面的命令已过时，请使用下面最新的命令：
 spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master yarn \
 --deploy-mode cluster \
 /usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
 100