Spark-submit参数说明

在使用spark-submit进行应用提交时，需要加很多参数，我们可以使用spark-submit -h 命令进行查看。spark-submit的使用说明可参照Spark应用提交指南其具体的使用参数说明如下：

Usage: spark-submit [options] <app jar | python file> [app options]
Usage: spark-submit [options] <app jar | python file> [app arguments]
Usage: spark-submit --kill [submission ID] --master [spark://...]
Usage: spark-submit --status [submission ID] --master [spark://...]
Usage: spark-submit run-example [options] example-class [example args]

参数名称	含义
–master MASTER_URL	可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
–deploy-mode DEPLOY_MODE	Driver程序运行的地方，client或者cluster
–class CLASS_NAME	主类名称，含包名
–name NAME	Application名称
–jars JARS	Driver依赖的第三方jar包
–py-files PY_FILES	用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
–files FILES	用逗号隔开的要放置在每个executor工作目录的文件列表
–conf PROP=VALUE	配置spark相关设置
–properties-file FILE	设置应用程序属性的文件路径，默认是conf/spark-defaults.conf
–driver-memory MEM	Driver程序使用内存大小
–driver-java-options	将额外的java选项传给应用程序
–driver-library-path	Driver程序的库路径
–driver-class-path	Driver程序的类路径
–executor-memory MEM	executor内存大小，默认1G
–proxy-user NAME
–driver-cores NUM	Driver程序的使用CPU个数，仅限于Spark Alone模式
–supervise	失败后是否重启Driver，仅限于Spark Alone模式
–kill SUBMISSION_ID	杀死指定程序
–status SUBMISSION_ID	获取指定的驱动程序的状态
–total-executor-cores NUM	executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式
–driver-cores NUM	驱动程序使用的内核数，仅在群集模式下（默认值：1）。仅限于Spark on Yarn模式
–executor-cores NUM	每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式
–queue QUEUE_NAME	提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式
–num-executors NUM	启动的executor数量，默认是2个，仅限于Spark on Yarn模式
–archives ARCHIVES	仅限于Spark on Yarn模式

在集群资源有所变动的时候，为了提高应用的执行性能我们会酌情修改相关配置如线程、内存、cpu核数等。