pyspider安装详细指南

1、安装wheel，已安装可跳过

    conda install wheel

2、安装pycurl，已安装可跳过

    conda install pycurl

3、安装pyspider

    pip install pyspider

4、python3.7及以上版本会出现如下报错

那是因为async从python3.7开始不能用作参数名了，将以下文件里面的async换一个名字即可（比如_async）

../python3.7/site-packages/pyspider/run.py

../python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py

../python3.7/site-packages/pyspider/webui/app.py

重新安装 pip install pyspider就能成功了

 

5、然后运行命令pyspider all，浏览器访问http://localhost:5000/

一切顺利的话，到这里就结束了。但是我实际在安装时却遇到一堆错误。

• 第一种情况，出现错误

    则需要安装phantomjs，地址： http://phantomjs.org/download.html

解压下载的文件，将bin目录下的phantomjs.exe复制到python.exe文件所在目录

 

• 第二种情况，出现的错误

找到../python3.7/site-packages/pyspider/webui/webdav.py文件

将'domaincontroller': NeedAuthController(app),

修改为

'http_authenticator':{

        'HTTPAuthenticator':NeedAuthController(app)

},

 

• 第三种情况，出现的错误

降低wsgidav版本

python -m pip uninstall wsgidav # 卸载

python -m pip install werkzeug==1.0.0 #安装1.0.0版本

6、运行成功