一.初识Scrapy 学习链接: http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html http://www.jianshu.com/p/95403d6c1305 1.Scrapy的五大模块: (Scrapy Engine):Scrapy使用Twisted来作为框架的核心,Twisted是一个基于事件驱动的网络引擎框架。所以引擎主要是用来处理整个系统的数据流,触发各个事件。 调度器(Scheduler):调度器接受引擎传来的数据,维护需要爬取的网页URL队列,并通过规定的调度机制将URL创建为下载请求。 管道(Item Pipeline):将爬取到的内容转换为实体对象,并对实体对象做有效性验证、持久化等等自定义的操作。 下载器(Downloader):主要是进行网页的http请求及响应,负责产生数据并返回数据。 爬虫(Spiders):在爬虫中,定义爬取URL的规则和网页信息的提取规则。