Scrapy框架五大核心组件

Scrapy框架五大核心组件

• 引擎（scrapy）
  • 用来处理整个系统的数据流处理，触发事务（框架核心）
• 调度器（scheduler）
  • 用来接收引擎发过来的请求（去重后）压入队列，并在引擎再次请求时返回队列
• 下载器（downloader）
  • 用来下载网页内容，并将网页内容以response的形式返回给蜘蛛（Scrapy下载器是建立在twisted这个高效的异步模型上的）。
• 爬虫（spiders）
  • 爬虫是主要干活的, 它可以生成url, 并从特定的url中提取自己需要的信息, 即所谓的实体(Item). 用户也可以从中提取出链接, 让Scrapy继续抓取下一个页面。解析数据。
• 管道（pipeline）
  • 负责处理爬虫从网页中抽取的实体, 主要的功能是持久化实体、验证实体的有效性、清除不需要的信息. 当页面被爬虫解析后, 将被发送到项目管道, 并经过几个特定的次序处理数据.