spark submit参数

• linux执行jar包命令

java -jar XXXX.jar

• submit参考

./bin/spark-submit
–class com.ws.spark.Test.WordCount
–master spark://192.168.0.21:7077
–executor-memory 4G
–total-executor-cores 6
/root/WordCount.jar

• exector-memory

##增加任务并行度
exector-memory:
(exector-memory + 1) * num-exector <=集群中的总的内存容量大小
注意:做乘积的时候,exector-memory得多加一个G;
建议:
spark官网建议我们分区的数量最好是机器核数的2-3倍.

• exector-cores

exector-cores * num-exector <= 集群中的总的合数容量
一个exector如果只分配一个核的话,在这个exector中的线程数量同一时刻只能有一个task,并且是串行.
如果exector分配N核,在这个exector中的task都是并行的,并行的最大数量就是N.

• num-exector:

申请的总的exector数量,exector的数量最好和分区数量成倍数关系

• 具体参数点此