安装pyspider的各种坑

在python 3.8.3 win10x64的环境下安装pyspider
1.安装:pip install pyspider
2.启动:pyspider,一般都不顺利的,会报格式错误
3.各种坑的解决方法
坑一:
phantomjs not found
安装phantomjs,将phantomjs.exe放在python.exe同一文件目录下,将D:\phantomjs-2.1.1-windows\bin添加到环境变量中
坑二:
ImportError: cannot import name ‘DispatcherMiddleware’ from ‘werkzeug.wsgi’
步骤1:python -m pip uninstall wsgidav # 卸载
python -m pip install werkzeug2.4.1 #安装2.4.1版本
步骤2:python -m pip uninstall werkzeug # 卸载
python -m pip install werkzeug
0.16.1 #安装0.16.1版本
坑三:首次启动报 SyntaxError: invalid syntax,再次启动报:ImportError: cannot import name ‘CurlasyncHTTPClient’ from ‘tornado.curl_httpclient’
原因:python3.7或以上版本中async已经变成了关键字。因此出现这个错误。
解决办法:手动替换一下
下面位置的async改为mark_async
/usr/local/lib/python3.7/site-packages/pyspider/run.py 的231行、245行(两个)、365行
/usr/local/lib/python3.7/site-packages/pyspider/webui/app.py 的95行
/usr/local/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py 的81行、89行(两个)、95行、117行
注意,这个替换完后要保存关闭,cmd命令窗口也要关闭。建议重启电脑才生效。反正我试了几次即时修改保存,即时在cmd运行pyspider是无效的,一样报错。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值