Scripy框架的介绍和使用

Scrapy框架的介绍

Scrapy是纯python的爬虫框架，专门用python语法爬取网络数据的，用户只需要定制几个模块，就可以轻易的实现抓取网页的内容

scrapy架构图

scrapy engine(引擎):接收所有其他组件返回的信号，再发送信号传递给其他组件，执行相关的功能。
scheduler(调度器)：负责接收引擎发来的request请求。再将请求传送给下载器，下载器下载东西，再传送给引擎。调度器在其中的作用很重要，可以去除重复，和调度请求。