scrapy pipline csv

最新推荐文章于 2022-07-31 08:54:48 发布

RedPintings

最新推荐文章于 2022-07-31 08:54:48 发布

阅读量352

点赞数

分类专栏： Python 文章标签： scrapy

本文链接：https://blog.csdn.net/RedPintings/article/details/85130809

版权

Python 专栏收录该内容

89 篇文章 2 订阅

订阅专栏

 
#  scrapy  pipline
 
class BazaarPipeline(object):
 
    def open_spider(self, spider):
        self.filename = open("digital.csv", "wb")
        # 创建一个csv文件读写对象，参数是需要保存数据的csv文件对象
        self.csv_exporter = CsvItemExporter(self.filename)
        # 表示开始进行数据写入
        self.csv_exporter.start_exporting()
 
    def process_item(self, item, spider):
        self.csv_exporter.export_item(item)
        return item
 
    def close_spider(self, spider):
        # 表示结束数据写入
        self.csv_exporter.finish_exporting()
        self.filename.close()