爬虫知识2：Scrapy框架介绍，建立第一个蜘蛛

1、Scrapy介绍：

    Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。主要用来帮助你下载网页、解析网页、自定义一些模块。我们只需专注于提取数据就好了；

    Scrapy 使用了Twisted异步网络库来处理网络通讯，可以加快我们的下载速度，而不用自己去实现异步框架。

    Scrapy整体架构大致如下：

Scrapy主要包括了以下组件：

• 引擎(Scrapy Engine)
  用来处理整个系统的数据流, 触发事务(框架核心)，负责与各种组件交流

• 调度器(Scheduler)
  用来接受引擎发过来的Requests请求, 压入队列中, 并在引擎再次请求的时候返回。可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址。

• 下载器(Downloader)
  用于下载引擎发送的所有Requests请求, 并将网页内容返回给蜘蛛(Spiders），下载器是建立在twisted这个高效的异步模型上的。

• 爬虫(Spiders)
  爬虫是主要干活的,它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据或链接，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)

• 项目管道(Pipeline)
  保存数据用的。它负责处理Spiders中获取到的Item，并进行处理，比如去重，持久化存储（存数据库，写入文件）。

• 下载器中间件(Downloader Middlewares)
  位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。类似于自定义扩展下载功能的组件

• 爬虫中间件(Spider Middlewares)
  介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

• 调度中间件(Scheduler Middewares)
  介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。可以自定扩展和操作引擎和Spiders中间‘通信‘的功能组件（比如进入Spiders的Responses;和从Spiders出去的Requests）

Scrapy运行流程大概如下：

• 引擎（ScrapyEngine）从调度器(Scheduler)中取出一个链接(URL)用于接下来的抓取。

• 引擎（ScrapyEngine）把URL封装成一个请求(Request)传给下载器(Downloader)

• 下载器(Downloader)把资源下载下来，并封装成应答包(Response)

• 爬虫(Spiders)解析Response

• 解析出实体（Item），则交给实体管道(Pipeline)进行进一步的处理

• 解析出的是链接（URL），则把URL交给调度器(Scheduler)等待抓取

通俗的讲解运行流程如下：

引擎：Hi！Spider, 你要处理哪一个网站？

Spiders：我要处理abcdefg.com

引擎：你把第一个需要的处理的URL给我吧。

Spiders：给你第一个URL是XXXXXXX.com

引擎：Hi！调度器，我这有request你帮我排序入队一下。

调度器：好的，正在处理你等一下。

引擎：Hi！调度器，把你处理好的request给我，

调度器：给你，这是我处理好的request

引擎：Hi！下载器，你按照下载中间件的设置帮我下载一下这个request

下载器：好的！给你，这是下载好的东西。（如果失败：不好意思，这个request下载失败，然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载。）

引擎：Hi！Spiders，这是下载好的东西，并且已经按照Spider中间件处理过了，你处理一下.

Spiders：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，这是我需要跟进的URL，将它的responses交给函数 def  xxxx(self, responses)处理。还有这是我获取到的Item。

引擎：Hi ！Item Pipeline 我这儿有个item你帮我处理一下！调度器！这是我需要的URL你帮我处理下。然后从第四步开始循环，直到获取到你需要的信息，

注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的ＵＲＬ，Scrapy会重新下载。）

以上就是Scrapy整个流程了。

2、简单建立第一个爬虫项目：

主要用到的语句：

1）进入想要建立的爬虫的文件夹：cd +空格+文件夹名，比如：cd C:\spiders

2）在当前目录中创创建一个项目文件。scrapy startproject +项目名称，

比如scrapy startproject pjc_2018

可以看下新增的文件夹

打开pjc_2018

• scrapy.cfg：项目的配置文件

• items.py：项目的items文件

• middlewares：设置代理之类的中间件

• pipelines.py：项目的pipelines文件，用于编写存储的文件

• settings.py：项目的设置文件

• spiders/：存储爬虫的目录

3）进入新建立的项目文件夹中。cd+项目名称，这个在上一步的时候会有提示的

4）建立一个蜘蛛：scrapy genspider +项目名称+需要抓取的网站（不需要http:），比如建立名为test的蜘蛛，抓取cnblogs网页。scrapy genspider test www.cnblogs.com

就可以看到新建的text.py

打开test.py文件，可以看下代码

    爬虫模板的代码都放置于spiders文件夹中。爬虫模块是用于从单个网页或者多个网页爬取数据的类，其应该包含初始页面的URL，以及跟进网页链接、分析页面内容和提取数据的函数，创建一个spider类，需要继承scrapy.Spider类，并定义以下三个属性：

• name: 用于区别爬虫，是爬虫的唯一标识。该名字必须唯一，不可以为不同的Spider设定相同的名字。

• start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

• allow_domains是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页。

• parse() 是spider的一个方法。被调用时，每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的Request对象。

假设修改parse的参数值，返回一个url，这样就算是建立抓取网址的一个蜘蛛了

5）运用蜘蛛：有两种方式：

方式1：使用cmd，进入项目所在的文件夹，写入命令：scrapy crawl+项目名称 +空格 +--nolog。比如，scrapy crawl test  --nolog。运行时，必须先进入项目的所在文件夹，再写命令

会返回抓取的网址：https://www.cnblogs.com/

自此一个简单的爬虫就可以建立了。复杂的爬虫只需要在test.py文件中编写即可。

方式2：在爬虫项目下，自定义一个.py文件，比如名字为runspider.py：

里面程序内容为：

直接运行此程序即可。

参考来源:

https://cuiqingcai.com/3472.html

http://www.cnblogs.com/wupeiqi/articles/6229292.html

https://doc.scrapy.org/en/latest/