scrapy 框架的安装

1Scrapy的简介

Scrapy 是用纯python实现的为了爬取网络数据的,提取结构性数据而编写的应用型框架

Scrapy 使用了twisted异步网络框架来处理网络通信可以加快下载速度,不用自己去实现异步框架

并且包含了各种中间件接口 可以灵活地完成各种需求

2怎么安装scrapy框架

在终端下输入

pip install scrapy

命令安装,提示

Faile  building wheel for Twisted

用命令在终端下安装不成功可以安装whl格式的包

下载scrapy的whl的包:

https://www.lfd.uci.edu/~gohlke/pythonlibs/

安装wheel的安装包需要安装wheel的库.在终端下运行

pip install wheel

scrapy 依赖twisted所以要先安装twisted

安装twisted  下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

进入wheel包的文件夹

执行如下命令

pip  install Twisted-17.1.0-cp36-cp64-win_and64.whl

scrapy还依赖lxml包  安装lxml  在终端下输入

pip imstall lxml

然后运行pip install scrapy就安装成功了