Scrapy之Spider的用法
Spider(爬虫)负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。具体一些就是Spider定义了一个特定站点(或一组站点)如何被抓取的类,包括如何执行抓取(即跟踪链接)以及如何从页面中提取结构化数据(即抓取项)。也就是说我们要抓取的网站的链接配置、抓取逻辑、解析逻辑等其实都是在 Spider 中定义的 。
Spider 运行流程
在实现 Scrapy 爬虫项目时,最核心的类便是 Spider 类了,它定义了如何爬取某个网站的流程和解析方式 。Spider 要做的事就是如下两件:
- 定义爬取网站的动作;
- 分析爬取下来的网页 。
Spider 的整个爬取循环过程如下:
- 以初始的 URL 初始化 Request ,并设置回调函数 。 当该 Request 成功请求并返回时, Response生成并作为参数传给该回调函数。
- 在回调函数内分析返回的网页内容 。 返回结果有两种形式:一种是解析到的有效结果返回字典或 Item 对象,它们可以经过处理后(或直接)保存;另一种是解析得到下一个(如下一页)链接,可以利用此链接构造 Request 并设置新的回调函数,返回 Request 等待后续调度。
- 如果返回的是字典或 Item 对象,我们可通过 Feed Exports 等组件将返回结果存入到文件。 如果设置了 Pipeline 的话,我们可以使用 Pipeline 处理 (如过滤、修正等)并保存。
- 如果返回的是 Request ,那么 Request 执行成功得到 Response 之后, Response 会被传递给Request 中定义的回调函数,在回调函数中我们可以再次使用选择器来分析新得到的网页内容,并根据分析的数据生成 Item。
通过以上几步循环往复进行,就可以完成站点的爬取。
Spider 类解析
Spider 继承自 scrapy.spiders.Spider
。scrapy.spiders.Spider
这个类是最简单最基本的 Spider 类,其他 Spider 必须继承这个类。
scrapy.spiders.Spider
类提供了start_requests()
方法的默认实现,读取并请求 start_urls
属性 ,并根据返回的结果调用 parse()
方法解析结果 。
它有如下一些基础属性:
- name:爬虫名称,是定义 Spider 名字的字符串 。 Spider 的名字定义了 Scrapy 如何定位并初始化 Spider ,它必须是唯一的 。 不过我们可以生成多个相同的 Spider 实例,数量没有限制 。name 是 Spider 最重要的属性 。 如果 Spider 爬取单个网站, 一个常见的做法是以该网站的域名名称来命名 Spider。 例如, Spider 爬取 mywebsite.com , 该 Spider通常会被命名为 mywebsite。
allowed_domains
:允许爬取的域名,是可选配置,不在此范围的链接不会被跟进爬取 。start_urls
:它是起始 URL 列表,当我们没有实现start_requests()
方法时,默认会从这个列表开始抓取。custom_settings
:它是一个字典,是专属于本 Spider 的配置,此设置会覆盖项目全局的设置。此设置必须在初始化前被更新,必须定义成类变量。crawler
:它是由from_crawler()
方法设置的,代表的是本 Spider 类对应的 Crawler 对象 。Crawler 对象包含了很多项目组件,利用它我们可以获取项目的一些配置信息,如最常见的获取项目的设置信息,即 Settings。settings
:它是一个 Settings 对象,利用它我们可以直接获取项目的全局设置变量 。
除了基础属性,Spider 还有一些常用的方法。
start_requests()
:此方法用于生成初始请求,它必须返回一个可迭代对象,该方法可以被重写。此方法会默认使用 start_urls 里面的 URL 来构造 Request,而且 Request 默认是 GET 请求方式。如果我们想在启动时以 POST方式访问某个站点,可以直接重写这个方法,发送 POST请求时使用FormRequest
即可 。parse(response)
:当 Response 没有指定回调函数时,该方法会默认被调用 。 它负责处理 Response 处理返回结果,并从中提取出想要的数据和下一步的请求,然后返回。该方法需要返回一个包含Request
或ltem
的可迭代对象。closed(reason)
:当 Spider 关闭时,该方法会被调用,在这里一般会定义释放资源的一些操作或其他收尾操作。
示例
重写start_requests()
import scrapy
from myproject.items import MyItem
class MySpider(scrapy.Spider):
name = 'example.com'
allowed_domains = ['example.com']
def start_requests(self):
yield scrapy.Request('http://www.example.com/1.html', self.parse)
yield scrapy.Request('http://www.example.com/2.html', self.parse)
yield scrapy.Request('http://www.example.com/3.html', self.parse)
def parse(self, response):
for h3 in response.xpath('//h3').getall():
yield MyItem(title=h3)
for href in response.xpath('//a/@href').getall():
yield scrapy.Request(response.urljoin(href), self.parse)
参考:
[1] http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference
[2] https://mermaidjs.github.io/
[3] https://mermaidjs.github.io/
[4] http://adrai.github.io/flowchart.js/