scrapy管道数据去重

云中听客

已于 2024-09-27 11:02:41 修改

阅读量107

点赞数 1

分类专栏： Helper 文章标签： scrapy

于 2024-09-27 11:02:23 首次发布

本文链接：https://blog.csdn.net/qiao1264282918/article/details/142588689

版权

Helper 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

# 数据去重管道  redis set hash
class DeduplicationPipeline:


    def __init__(self):
        self.redis_conn = redis.Redis(host='localhost',port=6379,db=0)


    def process_item(self, item, spider):
        item_str = json.dumps(dict(item))
        # 计算hash值
        item_hash_value = hashlib.md5(item_str.encode('utf-8')).hexdigest()
        # redis set集合进行成员判断
        if not self.redis_conn.sismember("data_set",item_hash_value):
            self.redis_conn.sadd("data_set",item_hash_value)
            return item
        else:
            print("重复数据")


    def close_spider(self,spider):
        pass