欢迎使用CSDN-markdown编辑器

一.初识Scrapy

学习链接:

http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
http://www.jianshu.com/p/95403d6c1305

1.Scrapy的五大模块：

(Scrapy Engine)：Scrapy使用Twisted来作为框架的核心，Twisted是一个基于事件驱动的网络引擎框架。所以引擎主要是用来处理整个系统的数据流，触发各个事件。

调度器(Scheduler)：调度器接受引擎传来的数据，维护需要爬取的网页URL队列，并通过规定的调度机制将URL创建为下载请求。

管道(Item Pipeline)：将爬取到的内容转换为实体对象，并对实体对象做有效性验证、持久化等等自定义的操作。

下载器(Downloader)：主要是进行网页的http请求及响应，负责产生数据并返回数据。

爬虫(Spiders)：在爬虫中，定义爬取URL的规则和网页信息的提取规则。