spark-driver 集群与driver节点 Python版本 不一致报错

1、环境说明：driver节点使用Python3.5，集群使用Python2.7。

2、出现报错

Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

3、首先我声明了一个UDF，然后在SQL中使用这个函数，之后在进行查询时就出现了这个问题。

暂时解决方法：

1、换Python版本

2、(我用的这种) 把udf下沉到driver中执行，即查询到结果之后再进行函数操作

暂时还没有找到很好的方法。