windows客户端pip安装pyspider完全指南(SyntaxError:invalid syntax、async语法报错、非引用替换关键字、全局查找针对性替换、Pycharm)

想要学习爬虫的小朋友对pyspider 并不陌生,pyspider 是国人binux 编写的强大的网络网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种笑死队列,使用起来异常方便,但对于初学者的小伙伴来说,正确安装并启动pyspider 并不是一件容易的事情,下面来介绍一下其安装过程。
首先需要先安装pycurl ,PycURl是一个C语言写的libcurl的python绑定库, PyCURL亦是一个Python接口,它是多协议文件传输库的LIbCURL。类似于URLLIB Python模块,PyCURL可以用来从Python程序获取URL所标识的对象。
由于外网访问下载缓慢,这里我直接放出网盘的地址:pycurl-7.43.1-cp37-cp37m-win_amd64.whl,提取码:cd11
在这里打开cmd用pip进行安装(注意替换路径)

pip install C:\Users\yeahthon\Desktop\pycurl-7.43.1-cp37-cp37m-win_amd64.whl

pycurl 安装成功后,我们再来安装pyspider
这里我也直接放出网盘地址:pyspider-0.3.10-py3-none-any.whl,提取码:tkmj
同上打开cmd 用pip 进行安装(注意替换路径)

pip install C:\Users\yeahthon\Desktop\pyspider-0.3.10-py3-none-any.whl

安装完成之后,我们输入命令行启动pyspider,

pyspider all

发现报错
在这里插入图片描述
错误显示无效的语法,导致这种情况的原因是在更新的python3 中,已经将async 设置为关键字,而pyspider 版本更新缓慢并没有在此处修改,所以导致pyspider 不能正常启动。
处理异常有两种方法:1、降低python 版本,降低至3.5即可,但这种方法过于麻烦。2、修改出现异常的关键字。
这里我们采用第二种方法来解决问题。
打开Pycharm (亦可直接用文档更改代码),点击File-Open打开python\lib\sit-packages\pyspider,将文件夹pyspider 加载进去,按Ctrl+Shift+F快捷键调出全局搜索,输入async,即可在“In Project”下找到所有含有关键字的.py 文件,逐一打开,按Ctrl+R调出替换栏,将async 替换为shark 即可。
在这里插入图片描述注意(重点来了):不是所有的async 都要进行替换!在tornado-fetcher.py文件中CurlAsyncHTTPClient 含有async,但此处不需要替换!
好了,替换完之后我们再输入命令行运行pyspider

pyspider all

即可成功启动pyspider
在这里插入图片描述
此时pyspider 的Web 服务就会在本地 5000端口运行,直接在浏览器中输入地址 http://localhost:5000, 就会进入 pyspider 的WebUI管理页面,这样我们的pyspider 就安装成功了。
WebUI管理页面

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值