在python 3.8.3 win10x64的环境下安装pyspider
1.安装:pip install pyspider
2.启动:pyspider,一般都不顺利的,会报格式错误
3.各种坑的解决方法
坑一:
phantomjs not found
安装phantomjs,将phantomjs.exe放在python.exe同一文件目录下,将D:\phantomjs-2.1.1-windows\bin添加到环境变量中
坑二:
ImportError: cannot import name ‘DispatcherMiddleware’ from ‘werkzeug.wsgi’
步骤1:python -m pip uninstall wsgidav # 卸载
python -m pip install werkzeug2.4.1 #安装2.4.1版本
步骤2:python -m pip uninstall werkzeug # 卸载
python -m pip install werkzeug0.16.1 #安装0.16.1版本
坑三:首次启动报 SyntaxError: invalid syntax,再次启动报:ImportError: cannot import name ‘CurlasyncHTTPClient’ from ‘tornado.curl_httpclient’
原因:python3.7或以上版本中async已经变成了关键字。因此出现这个错误。
解决办法:手动替换一下
下面位置的async改为mark_async
/usr/local/lib/python3.7/site-packages/pyspider/run.py 的231行、245行(两个)、365行
/usr/local/lib/python3.7/site-packages/pyspider/webui/app.py 的95行
/usr/local/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py 的81行、89行(两个)、95行、117行
注意,这个替换完后要保存关闭,cmd命令窗口也要关闭。建议重启电脑才生效。反正我试了几次即时修改保存,即时在cmd运行pyspider是无效的,一样报错。
安装pyspider的各种坑
最新推荐文章于 2020-11-26 07:43:44 发布