本文记录了作者在Linux 16.04上使用Python 3.5搭建pyspark 3.1.1环境时遇到的AttributeError问题。尝试了各种解决办法，包括查阅资料、考虑版本兼容性，最终发现pyspark 3.1.1可能不支持Python 3.5。作者通过降级到pyspark 2.4.7版本成功解决了问题。
在搭建大数据pyspark环境时遇到的问题/坑，困扰了两三天，记录一下。
我的环境版本如下：
- linux16.04
- python3.5（linux自带）
- Hadoop2.7
- java 1.8_8u281
按照厦门大学实验室安装教程搭建环境，当时选择了最新的spark-3.1.1版本，如图：
按照教程流程安装完后，运行pyspark失败，报错AttributeError: 'NoneType' object has no attribute 'items'。报错界面如下：
百度了一下竟然没有人遇到相同的问题，就考虑可能是版本问题。用windows下的python3.6直接pip3 install pyspark，下载的版本也是pyspark-3.1.1。发现可以正常运行。查了一下spark-3.1.1目前还不是稳定版
最低0.47元/天 解锁文章
扫一扫
1940
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
