pyspark:TypeError:an integer is required(got type bytes)解决

linux【ubuntu,其他版本仅供参考】下jupyter notebook中运行pyspark程序出错,查询资料发现,目前2020.11.18,pyspark仍然不支持更高版本的python,只支持到python3.7(有的博客可能写的3.6,更新了嘛)。

解决方案

  • 切换anaconda中jupyter notebook 的python版本,由于过程比较复杂,经测试并没有成功
  • 重装anaconda3

具体过程

  1. 卸载原来的anaconda3,默认安装路径为~/anaconda3,直接删除即可
$ rm -rf ~/anaconda3

然后删除配置文件~/.bashrc中与conda有关的配置,注:在文件末尾有conda init的注释,内容全部删除即可,还有PATH部分相关的路径配置

有一种删除的方式是使用工具anaconda-clean然而测试发现并没有什么用,可能是我方式不对吧:-D

  1. 下载anaconda3 >>
    官网,如果你有ide加速器,速度适中
    清华大学镜像【推荐使用】

注意选择的版本,2020.02版仍然为python3.7,而2020.07已经更新为3.8(pyspark暂不支持)

  1. 安装配置,参考xmu.db
    懒得跳转直接摆代码
$ cd 安装目录
$ bash Anaconda3-xxx.sh

...
默认即可,回车/yes
...

重开终端

# 去除(base)
$ conda config --set auto_activate_base false
# 配置
$ vi ~/.bashrc

修改PATH内容:
	export PATH=$PATH
>>
	export PATH=$PATH:/home/你的用户名/anaconda3/bin

$ source ~/.bashrc

问题基本解决了,接下来就是配置jupyter notebook,推荐参考xmu.db

解决这个问题,把linux中python版本切换倒是弄很清楚了!

【注意:最终anaconda与系统中python的版本应该一致,不一致也会报错!】

linux中python版本切换参考这里👉>>linux(ubuntu) python版本切换

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值