最近想尝试一下pyspider,但是一开始就遇到一些问题,现在对这几个问题描述并提供解决方法。
1.直接安装(pip install pyspider)时会显示安装pycurl出错。
可以尝试 pip install pycurl ,会发现是一毛一样的错误。
那问题就在直接pip install pycurl这里了
解决方法:
先安装wheel 即pip install wheel。
安装完成之后 上py的库包,直接对应到相应的curl包
下载完成后,cd到对应的目录下 直接使用此包安装 pip install 文件名
在curl安装完成之后再安装pip install pyspider的就不会出错了。
2.安装完成之后 使用pyspider 会发现还是会报错。
显示async不能使用的问题。
解决方法:
去到pyspider的安装目录下:比如我的D:\soft\Python37\Lib\site-packages\pyspider
将以下三个文件中的async全部修改为shark:
1)run.py
2) webui/app.py
3) fetcher/tornado_fetcher.py
修改之后再pyspider就可以运行了。