spark-submit指定python环境

spark-submit提交python任务，使用指定的python环境

参考spark Configuration，有如下描述：

配置	描述
spark.pyspark.driver.python	Python binary executable to use for PySpark in driver. (default is spark.pyspark.python)
spark.pyspark.python	Python binary executable to use for PySpark in both driver and executors.

使用--conf指定python环境：

--conf "spark.pyspark.driver.python=/path/to/envs/bin/python3.7" \
--conf "spark.pyspark.python=/path/to/envs/bin/python3.7" \

根据描述，为了保证驱动器和执行器的python环境一致，只指定 spark.pyspark.python即可。