Python学习Scrapy两种pipelines存储文件的方式

最新推荐文章于 2023-01-09 18:20:36 发布

冥想10分钟大师

最新推荐文章于 2023-01-09 18:20:36 发布

阅读量570

点赞数

分类专栏： Scrapy 文章标签： Scrapy

本文链接：https://blog.csdn.net/qq_31235811/article/details/88909595

版权

Scrapy 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

导入json

import json

class QsbkPipeline(object):
    def __init__(self):
        self.fp = open('duanzi.json','w',encoding='utf-8')


    def open_spider(self,spider):
        print('爬虫开始了')

    def process_item(self, item, spider):
        item_json = json.dumps(dict(item),ensure_ascii=False)
        self.fp.write(item_json+'\n')
        return item

    def close_spider(self,spider):
        self.fp.close()
        print('爬虫结束了')

导入JsonLinesItemExporter

from scrapy.exporters import JsonLinesItemExporter

class WxappPipeline(object):
    def __init__(self):
        self.fp = open('wxapp.json','wb')
        self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self):
        self.fp.close()