spark2.1 和 python3.6的问题

spark不支持python3.6

不用卸载python,用anaconda的环境切换就行了

1. 先创建一个新的开发环境: conda create -n my_new_env_python35

2. 激活这个新的开发环境: activate my_new_env_python35

3. 在这个新的开发环境中安装python 3.5: conda install python=3.5

这时python3.5版本的解释器就算是安装完成了,目录为:/home/username/.conda/envs/my_new_env_python35


我觉得没必要较劲,有些浪费时间,之前在首次安装时输入pyspark出现过三个关键词缺失的错误,这里有写解决方法http://blog.csdn.net/sisteryaya/article/details/68945705 。但这次是因为输入:sc.parallelize(range(100),8).take(5) 时,又出现这个错误:

TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'

        你可以按上面的那个方法做,在改变一下环境变量就可以了;或者,直接安装python3.5,但是它的库比较多,在windows上安装过一次,这次在虚拟机上使用,个人觉得装Anaconda就可以了,所有版本在这里:https://repo.continuum.io/archive/

python3.5的版本是这个  Anaconda3-4.2.0-Linux-x86_64.sh

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值