spark运行时候的参数设置

首先spark经常 是以jar 包方式提交任务的
bin/spark-submit
–master spark://hadoop-103:7077
–class org.apache.spark.examples.SparkPi
–deploy-mode client
–executor-memory 1G
–total-executor-cores 2
./examples/jars/spark-examples_2.11-2.1.1.jar
100

参数说明：
–master 指定Master的地址，不写默认为Local ,–master 参数有如下这几种
local[K] yarn-client yarn-cluster master:spark://hadoop-103:7077
对应模式为：本地模式 yarn模式 集群模式 当然yarn 模式和集群模式又分为client
和cluster

----class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi) 运行jar包中主类

–deploy-mode: 是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (default: client)*
client 和cluster 区别： application 是否在集群的worker中运行

–executor-memory 1G 指定每个executor可用内存为1G

–total-executor-cores 2 指定每个executor使用的cup核数为2个

–jars 如果有额外依赖 ，可以用–jars指定

一般运行时候的参数
–master xx
–class xxx
–executor-memory xx
–total-executor-cores xx
jar包位置
主类参数

**

其他参数可以使用命令查看具体帮助 bin/spark-submit --help

**