mongo超百万数据时,插入数据时去重

pymongo超百万数据时,插入数据时去重

做爬虫存数据库时都需要将数据去重

刚开始我的数据量较少,去重的时候使用updata_one

import hashlib
import pymongo

client = pymongo.MongoClient()
db = client['text']
item = {'id': '', 'url': 'https://www.baidu.com/'}
# 对url进行MD5加密
item['id'] = hashlib.md5(item['url'].encode('utf-8')).hexdigest()
# 更新数据,如果数据存在就更新,不存在就插入
db['table'].update_one({'id': item['id']}, {'$set': item}, True)

但是这样方法一次只能插入一条,而且当数据量超过10w时明显感觉到程序运行变慢

后来我想起了mongo的集合有一个唯一索引,插入数据时直接将url加密后的值插入到’_id’字段(mongo集合中必须有唯一索引,如果没有指定,数据库自动创建一个’_id’的字段’)

批量插入数据时,如果有重复的数据,那么唯一索引也是重复的,这时就会报错

它有一个ordered属性,这个属性为False时会并发将数据插入到数据库,如果有重复数据会报错,这时需要将错误捕获到就行

import pymongo
import re

# 连接mongo
client = pymongo.MongoClient()
db = client['test']
# 数据集合,每个字典中有一个'_id'的键值对,它的值是数据的url经过MD5加密
data = [{}, {}, {}, {}, {}]
try:
    # 批量插入数据,ordered=False
    db['table'].insert_many(data, ordered=False)
except pymongo.errors.BulkWriteError as e:
    # 获取插入成功的数据量
    num = re.findall("'nInserted': (\d+),", str(e))[0]
    print(f'{num}条数据插入成功')
else:
    print(f'全部数据插入成功')