spark-submit提交方式说明

2019独角兽企业重金招聘Python工程师标准>>>

#####提交格式 spark-submit [options] <app jar | python file> [app options]

#####提交参数

| 名称| 说明 | |-|-| | --master MASTER_URL | 如spark://host:port、mesos://host:port、yarn、yarn-cluster、yarn-client、local | |--deploy-mode DEPLOY_MODE|Driver程序运行的方式，Client或者Cluster| |--class CLASS_NAME|主类名称，含包名| |--name NAME|Spark应用的名称| |--jars JARS|加入到Driver和Executor的ClassPath中的jar包列表，以逗号分隔| |--py-files PY_FILES|用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表| |--files FILES|用逗号隔开的要放置在每个executor工作目录的文件列表| |--properties-file FILE|设置应用程序属性的文件路径，默认是conf/spark-defaults.conf| |--driver-memory MEM|Driver程序使用内存大小| |--driver-java-options|java配置选项，比如GC、新生代相关信息| |--driver-library-path|Driver第三方jar包路径| |--driver-class-path|Driver的类目录| |--executor-memory MEM|executor内存大小，默认1G| |--driver-cores NUM|Driver程序的使用CPU个数，仅限于standalone模式，默认1个| |--supervise|失败后是否重启Driver，仅限于standalone模式| |--total-executor-cores NUM|executor使用的总核数，仅限于standalone、Spark on Mesos模式| |--executor-cores NUM|每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式| |--queue QUEUE_NAME|提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式| |--num-executors NUM|启动的executor数量，默认是2个，仅限于Spark on Yarn模式| |--archives ARCHIVES | 逗号分隔的归档文件列表，会被解压到每个Executor的工作目录中，仅限于Spark on Yarn模式|

转载于:https://my.oschina.net/u/1859996/blog/699308