一、安装 pip install pyspider
二、pyspider all
报错Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl
解决 :安装curl库,在[pycurl]中Ctrl+f找到你的电脑所对应的curl版本,进行下载
http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl
我是python3.7 下载的是pycurl-7.43.0.3-cp37-cp37m-win_amd64 .whl
Cp3.7 就是python3.7的版本
三、pyspider all
运行会报关键字async错误
把lib 下site-packages下pyspider下的
(1)fetcher/tornado_fetcher.py
(2)run.py
(3)weibu/app.py
三项中的async全部替换成shark
四、pyspider all
报错ValueError: Invalid configuration: - Deprecated option ‘domaincontroller’: use 'http_authenticator
解决:在安装包中找到pyspider里找到webui文件里面的webdav.py文件打开,修改第209
将 ‘domaincontroller’: NeedAuthController(app),
修改为:
‘http_authenticator’:{
‘HTTPAuthenticator’:NeedAuthController(app),
},
再运行即可