Scrapy框架下载与安装

 

Scrapy框架

Scrapy是一种用于抓取网站和提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘，信息处理或历史存档 

Scrapy是用纯python实现一个为了爬取网站数据，提取结构性数据而编写的应用框架，用途非常广泛。

框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

Scrapy 使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

一、利用Anaconda简单安装Scrapy框架

Scrapy在CPython（默认Python实现）和PyPy（从PyPy5.9开始）下运行Python2.7和Python3.4或更高版本。

如果你使用的是Anaconda，你可以在DOS窗口输出命令 conda install scrapy

  

输入y表示允许安装依赖库

测试scrapy安装是否成功，在DOS窗口输入scrapy回车。

二、通过下载Scrapy来进行配置安装

1、依赖库安装：点击下载依赖库   cp36 表示Python3.6版本 win32/64表示你的windows系统。

2、下载whl文件，利用pip安装即可（尽量把下载的whl文件放在自己所知道的路径，因为安装时DOS窗口执行命令要在文件所在路径，才能进行安装）

3、下载并安装scrapy

所有步骤完成后，怎样验证scrapy是否安装成功呢？

只需要在DOS窗口输入scrapy 回车。如果说出现下图，就表示安装成功了。