pipeline中常用的方法:
process_item(self,item,spider):实现对item数据的处理
open_spider(self, spider): 在爬虫开启的时候仅执行一次
close_spider(self, spider): 在爬虫关闭的时候仅执行一次
import json
from pymongo import MongoClient
class xxxFilePipeline(object):
def open_spider(self, spider):
if spider.name == 'xxx':