pipeline的关键功能是“一个item可以按照settings.py里的配置,逐步被多个pipeline所处理”。
每一步的pipeline会修改item的一些内容(比如重复性检查、错误数据修复等),或者根据item的数据做不同处理(比如有的pipeline负责把item写入日志,有的pipeline负责把item写入数据库,有的pipeline负责把item通过http发出去)。
如果一个item只需要一次操作就可完成,那就在那个用isinstance判断item类型的pipeline里调用成员方法就行。
class myspiderPipeline(object):
def __init__(self):
self.file = open('myadata.json', 'wb')
def process_item(self, item, spider):
if isinstance(item, hahaItem):
content = json.dumps(dict(item), ensure_ascii=False) + "\n"
self.file.write(content)
return item
elif isinstance(item, nihaoItem):
return item
elif isinstance(item, helloItem):
print item
return item
def close_spider(self, spider):
self.file.close()