Scrappy爬虫框架笔记——介绍

以下内容均为本人的学习笔记，仅供个人学习复习使用，非本人同意，禁止转载。

Scrapy是什么？

Scrapy 是一个为了爬取网站数据而编写的一个结构化的框架，通过这一框架相比于自己写一个完整的爬虫程序来所，更为方便（轻量）、快速的抓取数据。

Scrapy 爬虫框架简介

Scrapy 是基于twisted框架开发而来的框架。何为twisted？twisted中文意思是扭曲的，twisted是一个异步网络框架。那异步又是什么？异步的意思与同步相反，同步：一般的程序的执行步骤都是等待前面一个程序调用完了再执行下一个程序，比如我们请求一个网址，就要等到得到网址的响应后再进行下一步操作，这就是同步；异步：就是等前一个程序调用后，这调用就直接返回，不用再等待前面的结果而浪费资源了。这两个例子也是阻塞（同步）和非阻塞（异步）。
好了，接下来继续。

Scrapy的流程

借用网上的图来解释，很常见的一张scrapy流程图：

流程顺序： scheduler