关于spark-submit提交参数说明及示例

参数说明

参数名	参数说明
--packages	包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
--exclude-packages	为了避免冲突 而指定不包含的 package
--repositories	远程 repository
--conf PROP=VALUE	指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"
--properties-file	加载的配置文件，默认为 conf/spark-defaults.conf
--driver-memory	Driver内存，默认 1G，推荐值2-6G，不宜太大
--driver-java-options	传给 driver 的额外的 Java 选项
--driver-library-path	传给 driver 的额外的库路径
--driver-class-path	传给 driver 的额外的类路径
--driver-cores	Driver 的核数，默认是1。在 yarn 或者 standalone 下使用
--executor-memory	每个 executor 的内存，默认是1G，最大不超过30G
--total-executor-cores	所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
--num-executors	启动的 executor 数量。默认为2。在 yarn 下使用
--executor-cores	设置单个executor能并发执行task数，根据job设置，推荐值2-16。在yarn或者standalone下使用

示例

== 注: yarn提交模式下，代码中不要指定master为local，可以在提交时指定，否则会有冲突 ==

单机测试环境

./spark-submit \
--class com.jjzz.t1 \ 
--master spark://192.168.56.21:7077 \
/opt/spark-examples-1.6.0-hadoop2.6.0.jar

yarn-client

./spark-submit \
--master yarn-client \
--class org.apache.spark.examples.SparkPi \
--driver-memory 4G \
--executor-memory 2G \
--executor-cores 2 \
--num-executors 8 \
/opt/spark-examples-1.6.0-hadoop2.6.0.jar

yarn-cluster

./spark-submit \
--master yarn-cluster \
--class org.apache.spark.examples.SparkPi \
--driver-memory 4G \
--executor-memory 2G \
--executor-cores 2 \
--num-executors 8 \
/opt/spark-examples-1.6.0-hadoop2.6.0.jar

性能调优篇

参照：https://mp.weixin.qq.com/s/lcCvp1s5BYKpGSO__SAfbA