突然接到一个项目是关于pyspider,遇到了一些小坑,百度一下发现并没有很好的解决所以研究了一下。
我所使用的python版本是3.6.8,因为pyspider是对pip有版本要求的,所以自动升级一下。
升级pip
•# pip install –upgrade pip
一切配置好之后,就在CMD中运行 pyspider all 来看能否跑起来。
这是成功的样子,说明可以了。
不过路上谁能不遇坑,人家各种成功,到了我这里就是各种错误,我就把这些错误整合一下。
首先第一个错误:python3.7不兼容pyspider问题(出现占用关键字的问题)
Python 3.5中引入了async和await,它们在Python 3.7中成为关键字。
所以需要替换一下关键字。
分别在run.py、tornado_fetcher.py、webui>app.py,ctrl+f查找async替换掉就可以了。
第二个问题也就是我遇到的问题:[root@localhost python]# pyspider all
[W 180629 07:08:26 run:413] phantomjs not found, continue