CDH spark2切换成anaconda3的问题

最近spark2有同事想用anaconda3做开发，原因是上面可以跑机器学习的库（服务器因为没外网pip装whl确实麻烦）

1、先在每台机器安装anaconda3

2、把用户的~/.bashrc配置进Python的环境变量alias python=/opt/python/bin/python

3、把python配置进spark的配置文件在$sparkhome/lib/spark2/conf/spark-env.sh中最后添加python变量

export PYSPARK_PYTHON=/opt/python/bin/python
export PYSPARK_DRIVER_PYTHON=/opt/python/bin/python

安装过程由于anaconda3我是默认安装.会安装到当前用户下/$user/anaconda/下，无论怎么赋值权限，跑spark python yarn模式都会出现权限不足的情况（java.io.IOException: Cannot run program "/root/anaconda3/bin/python": error=13, Permission denied）

后来看了些资料，个人用户访问不到。于是改到/opt/下指定文件夹安装。记得重启spark才能有效化配置文件

到此成功

转载于:https://www.cnblogs.com/yaohaitao/p/11465305.html