动态IP代理软件有话说：天下爬虫框架皆出Scrapy

针对规模小、抓取数据量小、对抓取速度不比较敏感的爬虫软件， 应用 Requests 能轻轻松松拿下。这种网页爬虫关键作用是抓取网页页面、轻松玩网页页面。假如人们必须抓取网站及其系列产品网上平台，要求网络爬虫具备抓取失败能复盘、爬取速度较高等特点。很显然 Requests 不能完全满足我们的需求。因此，需要一功能更加强大的第三方爬虫框架库 —— Scrapy。学会Scrapy，百分之八九十的爬虫框架都能玩儿转了。

一、Scrapy 的特性

Scrapy 是一个框架。因而，它集一些各功能强大的 python 库的优点于一身。下面列举其一些特性：

HTML, XML源数据 选择及提取 的内置支持

提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。

通过 feed导出 提供了多格式(JSON、CSV、XML)，多存储后端(FTP、S3、本地文件系统)的内置支持

提供了media pipeline，可以 自动下载 爬取到的数据中的图片(或者其他资源)。

高扩展性。您可以通过使用 signals ，设计好的API(中间件, extensions, pipelines)来定制实现您的功能。

内置的中间件及扩展为下列功能提供了支持:

cookies and session 处理

HTTP 压缩

HTTP 认证

HTTP 缓存

user-agent模拟

robots.txt

爬取深度限制

健壮的编码支持和自动识别，用于处理外文、非标准和错误编码问题

针对多爬虫下性能评估、失败检测，提供了可扩展的 状态收集工具 。

内置 Web service, 使您可以监视及控制您的机器。

二、初探 Scrapy

1. Scrapy 工程项目详细分析

   Scrapy 新创建工程项目需通过命令行操作。在特定文件夹名称中，开启终端实行以下命令：

   scrapy startproject 项目的名字

   我新建一个名为 scrapy_demo，执行结果如下。

   使用 Pycharm 开启该新项目，让我们会发觉新项目的层次构架及其文档。

   这种文档的功能是：

   scrapy.cfg：工程项目的配置文件，开发设计不用采用。

   scrapy_demo：项目中会有两个同名的文件夹名称。最表层表示 project，里面那个目录代表 module(项目的核心)。

   scrapy_demo/items.py：以字段形式界定中后期必须处理的网络数据。

   scrapy_demo/pipelines.py：提取出来的 Item 对象回到的数据并进行存储。

   scrapy_demo/settings.py：项目的设置文档。可以对网络爬虫进行自定设定，例如挑选深度优先爬取还是广度优先爬取，设置对每个IP的爬虫数，设置每个域名的爬虫数，设置爬虫延时，设置代理等等。

   scrapy_demo/spider： 这个目录储放网页爬虫源代码。

   init.py：python 包要求，对 scrapy 作用不大。

2. Scrapy 的架构

   Scrapy 好比由许多组件拼装起来的大机器。因此，可以采取从整体到局部的顺序学习 Scrapy。

   Scheduler：调度器。负责接受 Engine 发送过来的 Requests 请求，并将其队列化;

   Item Pipeline：Item Pipeline负责处理被spider提取出来的item。其有典型应用，如清理 HTML 数据、验证爬取的数据(检查 item 包含某些字段)、查重(并丢弃)、爬取数据持久化(存入数据库、写入文件等);

   Scrapy Engine：引擎是 Scrapy 的中枢。它负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件;

   Downloader Middlewares：下载中间件是 Engine 和 Downloader 的枢纽。负责处理 Downloader 传递给 Engine 的 responses;它还支持自定义扩展。

   Downloader：负责下载 Engine 发送的所有 Requests 请求，并将其获取到的 responses 回传给 Scrapy Engine;

   Spider middlewares：Spider 中间件是 Engine 和 Spider 的连接桥梁;它支持自定义扩展来处理 Spider 的输入(responses) 以及输出 item 和 requests 给 Engine ;

   Spiders：负责解析 Responses 并提取 Item 字段需要的数据，再将需要跟进的URL提交给引擎，再次进入Scheduler(调度器);

3. Scrapy 工作机制

   当引擎(Engine) 收到 Spider 发送过来的 url 主入口地址(其实是一个 Request 对象, 因为 Scrapy 内部是用到 Requests 请求库)，Engine 会进行初始化操作。

   Engine 请求调度器(Scheduler)，让 Scheduler 调度出下一个 url 给 Engine。

   Scheduler 返回下一个 url 给 Engine。

   Engine 将 url通过下载中间件(请求(request)方向)转发给下载器(Downloader)。

   一旦页面下载完毕，Downloader 生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给 Engine

   引擎将从下载器中接收到 Response 发送给Spider处理。

   Spider 处理 Response 并返回爬取到的 Item 及新的 Request 给引擎。

   Engine 将 Spider 返回的爬取到的 Item 转发给Item Pipeline，顺便也将将 Request 给调度器。

   重复(第2步)直到调度器中没有更多地request，引擎关闭该网站。

转载于:https://blog.51cto.com/14059916/2334702