Spark submit的参数可以看这个网站Spark-Submit参数设置说明 - 开源大数据平台E-MapReduce - 阿里云
但在Spark submit提交任务时,发现不管怎么设置参数,最后分区结果都固定为2,说明参数没生效。
研究半天发现,需要把参数放在任务之前,也就是py文件需要放在最后,才能使参数生效。
./spark-submit --master yarn --deploy-mode client --py-files /tmp/dmodpso/dmodpso_cd.zip --executor-memory 2g --executor-cores 1 --num-executors 3 /tmp/dmodpso/main.py