Scrapy1.5基本概念（七）——数据项管道（Item Pipeline）

本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/item-pipeline.html

数据项管道（Item Pipeline）

在数据项被爬虫爬取到之后，这个数据项将被发送给数据项管道（Item Pipeline），数据项管道将通过一些按照顺序执行的组件来处理这个数据项。

每一个数据项管道组件（有时候称为数据项管道）都是一个Python类，这个类实现了一个简单函数。它们接收一个数据项并且对这个数据项执行一个动作，同时也需要决定，这个数据项是应该继续通过管道处理还是被丢弃，或者是不再处理。

数据项管道的典型用途：

• 清理HTML数据
• 验证爬取到的数据（检查数据项是否包含指定的字段）
• 检查是否有重复（以及重复的话是否丢弃）
• 存储爬取到的数据项到数据库中

编写你自己的数据项管道

每一个数据项管道组件都是一个Python类，必须实现下面的函数：

process_item(self, item, spider)

对每个数据项管道组件调用此函数。process_item()必须满足下列之一：返回一个字典，返回一个Item（或者任何Item的派生类）对象，返回一个Twisted Deferred或者抛出一个DropItem异常。被丢弃的数据项将不再被其他管道组件处理。

参数：

• item（Item对象或者字典）- 爬取到的数据项
• spider（Spider对象）- 爬取到数据项的爬虫

另外，数据项管道组件也可以实现下面的函数：

open_spider(self, spider)

当爬虫被打开的时候调用这个函数。

参数：

• spider（Spider对象）- 已经被打开的爬虫

close_spider(self, spider)

当爬虫被关闭的时候调用这个函数。

参数：

• spider（Spider对象）- 已经被关闭的爬虫

from_crawler(cls, crawler)

如果存在，则调用这个classmethod从Crawler创建一个管道实例。它必须返回一个新的管道实例。Crawler对象提供了对所有Scrapy核心组件的访问，比如设置项和信号；它是管道访问它们并将其功能与Scrapy挂钩的一种方法。

参数：

• crawler（Crawler对象）- 使用这个管道的crawler对象。

数据项管道示例

价格验证以及丢弃没有价格的数据项

让我们看一下下面假设的管道，它为不包含增值税（price_excludes_vat属性）的数据项调整price属性，并丢弃这些不包含price的数据项：

from scrapy.exceptions import DropItem


class PricePipeline(object):
	vat_factor = 1.15

	def process_item(self, item, spider):
		if item['price']:
			if item['price_excludes_vat']:
				item['price'] = item['price'] * self.vat_factor
			return item
		else:
			raise DropItem('Missing price in $s' % item)

将数据项写入JSON文件

下面的管道存储所有（从所有爬虫）爬取到的数据项到单独的文件items.jl中，每行都是一个JSON格式化的数据项：

import json


class JsonWriterPipeline(object):
	def open_spider(self, spider):
		self.file = open('items.jl', 'w')

	def close_spider(self, spider):
		self.file.close()

	def process_item(self, item, spdier):
		line = json.dumps(dict(item)) + '\n'
		self.file.write(line)
		return item

注意：JsonWritePipeline的目的仅是为了介绍如何写数据项管道到文件中。如果你真的想要存储所有爬取到的数据项到一个JSON文件中，你应该使用Feed exports。

将数据项写入MongoDB

在这个示例中，我们使用pymongo把数据项写入到MongoDB中。MongoDB的地址和数据库名都将在Scrapy设置项中指定；MongoDB集合在数据项类后被命名。

这个示例的关键点在于如何使用from_crawler()函数以及如何正确地清理资源：

import pymongo


class MongoPipeline(object):
	collection_name = 'scrapy_items'

	def __init__(self, mongo_uri, mongo_db):
		self.mongo_uri = mongo_uri
		self.mongo_db = mongo_db

	@classmethod
	def from_crawler(cls, crawler):
		return cls(
			mongo_uri = crawler.settings.get('MONGO_URI'),
			mongo_db = crawler.settings.get('MONGO_DATABASE', 'items')
		)

	def open_spider(self, spider):
		self.client = pymongo.MongoClient(self.mongo_uri)
		self.db = self.client[self.mongo_db]

	def close_spider(self, spider):
		self.client.close()

	def process_item(self, item, spider):
		self.db[self.collection_name].insert_one(dict(item))
		return item

获取数据项的快照

下面示例演示了如何从process_item()函数返回延迟的值。它使用了Splash来渲染数据项URL的快照。管道向本地运行的Splash实例发出请求。在这个请求被下载和延迟触发之后，它将数据项保存到文件中，并将文件名添加到数据项中。

import scrapy
import hashlib
from urllib.parse import quote


class ScreenshotPipeline(object):
	""" 管道使用Splash来渲染每一个Scrapy数据项的快照 """

	SPLASH_URL = "http://localhost:8050/render.png?url={}"

	def process_item(self, item, spider):
		encoded_item_url = quote(item['url'])
		screenshot_url = self.SPLASH_URL.format(encoded_item_url)
		request = scrapy.Request(screenshot_url)
		dfd = spider.scrawler.engine.download(request, spider)
		dfd.addBoth(self.return_item, item)
		return dfd

	def return_item(self, response, item):
		if response.status != 200:
			# 有错误，直接返回item
			return item

		# 存储快照到文件中，文件名是url的hash值
		url = item['url]
		url_hash = hashlib.md5(url.encode('utf-8')).hexdigest()
		filename = "{}.png".format(url_hash)
		with open(filename, 'wb') as f:
			f.write(response.body)

		# 存储文件名到数据项中
		item['screenshot_filename'] = filename
		return item

过滤重复项

筛选器用于查找重复的数据项，并且丢弃这些已经被处理过的数据项。假设我们的数据项有一个惟一值的字段id，但是我们的爬虫返回了拥有同样id值的重复数据项：

from scrapy.exceptions import DropItem


class DuplicatesPipeline(object):
	def __init__(self):
		self.ids_seen = set()

	def process_item(self, item spider):
		if item['id'] in self.ids_seen:
			raise DropItem("Duplicate item found: %s" % item)
		else:
			self.ids_seen.add(item['id'])
			return item

激活数据项管道组件

为了激活数据项管道组件，你必须添加它的类到ITEM_PIPELINES设置中，就像下面的示例一样：

ITEM_PIPELINES = {
	'myproject.pipelines.PricePipeline': 300,
	'myproject.pipelines.JsonWriterPipeline': 800,
}

配置中赋给类的整数值表示管道的返回顺序：数据项从低数值的管道传到高数值的管道。这些值一般由使用者自己决定，并且值范围在0-1000之间。