示例系统Ubuntu16 64位
python2.7.14
python3.5.2
hadoop和python版本没有依赖关系,
spark配置python版本只有一个位置,
是系统中的~/.bashrc环境变量,
修改export PYSPARK_PYTHON=python3
后面的python版本,
若是python2则修改为export PYSPARK_PYTHON=python
或修改为 export PYSPARK_PYTHON=python2
都可以。
注:如果运行python版本与你环境配置的python版本不一致的话,
回报这样一个错误
ERROR executor.Executor:Exception in task
和 java.lang.AssertionError:assertion failed