python pipeline库_python – 数据库存储：为什么Pipeline比Feed Export更好？

这是一个太迟的答案.但我只花了整整一个下午和一个晚上试图了解项目出口商和饲料出口之间的差异,这些差异很少.我认为这对仍然困惑的人会有所帮助.

TL; DR：

FeedExport用于将项目导出为文件.它完全不适合数据库存储.

Feed导出是scrapy.extensions.feedexport中scrapy的扩展.通过这种方式,就像scrapy中的其他扩展一样,它通过寄存器回调函数实现到一些scrapy信号(open_spider,close_spider和item_scraped),以便它可以采取必要的步骤来存储项目.

当open_spider时,FeedExporter(实际的扩展类)初始化Feed存储和项目导出器.具体步骤涉及获取类似文件的对象,该对象通常是FeedStroage中的临时文件并将其传递给ItemExporter.当item_scraped时,FeedExporter只是将预初始化的ItemExporter对象调用为export_item.当close_spider,FeedExporter在前一个FeedStorage对象上调用store方法将文件写入文件系统,上传到远程FTP服务器,上传到S3存储等.

内置的项目导出器和存储器集合在一起.但正如您可能从上面的文本中看到的那样,FeedExporter在设计上与文件存储紧密结合.使用数据库时,存储项目的常用方法是在数据被删除时将其插入数据库(或者可能需要一些缓冲区).

因此,使用数据库存储的正确方法似乎是编写自己的FeedExporter.你可以通过寄存器回调scrapy信号来实现它.但是没有必要,使用项目管道更简单,并且不需要了解这些实现细节.