简介
Scrapy是一个功能十分强大的爬虫框架,支持爬虫自定义配置与并发爬虫。在Python环境中可以直接通过pip install scrapy
进行安装,然而通过这种方法安装scrapy容易失败,因此推荐直接下载源包的方式来安装,Python各版本对应的包可在该网址查找,安装scrapy涉及的包有Twisted,pywin32,Scrapy,安装指令格式为pip install path/to/package/targetpackage.xml
。
安装后出现"DLL load failed"
出现该提示的原因很可能是lxml
包与scrapy包的版本不对应,因此使用pip uninstall lxml
指令卸载后,在上述网址中下载对应版本的lxml
包安装即可。安装后在cmd控制台输入scrapy
检查是否安装成功。