在pyspark中启动jupyter是使用pandas遇到版本不匹配的问题
问题描述:在jupyter中运行时遇到报错Pandas >= 0.23.2 must be installed; however, your version was 0.22.0
是我们所使用的pandas版本太低需要更新
问题解决:
- 在命令行中输入pip install -upgrade pandas
如果更新成功即可重新连接运行
(PS:我出现的是这个,意思就是不太行的意思。。。)
第一种方法不行就试试第二种吧
2.进入Xshell中(在根目录下即可)输入如下命令:
pip install --upgrade pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
完成更新后在Xshell中停掉spark的运行
Ctrl+z (停掉运行)
然后再输入pyspark重新启动pyspark,连接上jupyter 以后再次运行就成功了。