Scrapy分布式知识（二）---五大核心组件之（Pipelines）

Pipelines也就是管道，主要用来对数据进行一些处理，如对数据的持久化存储、数据清洗、去重、插入数据库等操作

如这是默认的Pipelines文件：

1、process_item：这个是最主要的方法，用来存储引擎传过来的item，一定要有返回值item，可以有2个类型来选择。

• return item：item是返回正常的item
• return DropItem/raise DropItem，DropItem是失败的时候返回的Item

def process_item(self,item,spider):
#这里设置了一个name，这个item叫什么名字，那么就会返回什么名字。相对于比较灵活
	name=item.__class__.__name__
	if self.db[name].insert(dict(item)):
		print("添加成功")

2、open_spider：这个方法是爬虫刚要启动的时候会执行的操作，这里就可以进行一些数据库的初始化设置和操作

def open_spider(self,spider): 
	self.client = pymongo.MongoClient(self.mongo_uri)
    self.db = self.client[self.mongo_db]

3、close_spider：爬虫结束的时候调用的方法，一般就是用来操作一些关闭数据库的操作，释放内存

def close_item(self,spider):
	self.client.close()

官方的例子：https://docs.scrapy.org/en/latest/topics/item-pipeline.html

再介绍一些其他的Pipelines操作：

1.DropItem和Item：这个操作是对传过来的Item进行判断，先声明一个因子，如果Item中的价格有值就进行相乘，否则就抛出DropItem来抛出这个异常的Item

2.将Item数据写入到JSON中：将数据写到JSON中，用到了open_spider（打开文件）、close_spider（关闭文件）、process_item3个方法来进行处理

3.将数据保存到MongoDB的实现

4.使用Splash组件对访问的URL屏幕进行截图，然后保存

5.去重操作（这里的逻辑是声明了一个set( )集合，然后对传过来的item里面的值进行检查，如果已在集合中了，就使用raise DropItem抛出这个item

6.在Pipelines中对传过来的Item里面的值进行处理，这里设置如果item中text的值长度超过50，那么就将其后续设置为省略号

7.设置2个Pipelines，一个存储到数据库，一个存储到本地文件中