爬虫框架pyspider 安装踩坑教程

安装步骤（针对windows pycharm）

1. 安装phantomjs
   下载网址：http://phantomjs.org/download.html
   下载完后解压复制 bin文件下的phantomjs.exe到python.exe 的文件夹下
2. 在安装pyspider 之前首先应该安装必须的包pycur，此包用pip命令安装会出错，直接用whl文件进行安装，安装包网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl
   注意：下载对应自己python版本的安装包，例如:此安装包为python版本3.9并且64位
   
3. 安装pyspider
   pip install pyspider

测试

运行pyspider all 报错

这是因为python3.5开始把async和await设为关键字了，这里作为参数名与关键字冲突了，因此找到对应的py文件，将async修改为其他名称，我修改为pyspiderasync。在以下几个文件中存在：pyspider->run.py、pyspider->fetcher->tornado_fetcher.py、webui>app.py。
再次运行pyspider all 报错

这个是gcd函数的问题，fractions.gcd(a, b)用于计算最大公约数。这个函数在Python3.5之后就废弃了，官方建议使用math.gcd()。（来自GanZiQim作者的文章https://blog.csdn.net/jy692405180/article/details/73432526）
所以在base_handler.py文件中上方加入 import math
下面fractions.gcd()改为math.gcd(…)就可以了
再次运行 pyspider all 报错

这个是因为wsgidav版本太高了，重新安装一下：
具体需要安装哪个版本呢？可以通过先卸载wsgidav再运行pyspider all看提示信息：
我的版本要求是>2.0.0
重新安装之后执行 pyspider 成功