mongo 异步 读写分离

使用 AsyncIOMotorClient 异步库,进行读写分离。
读:从数据库不停读数据存到队列,
写: 从本地队列不停批量向数据库写数据。
场景: 数据大的时候,你可以快速将A的数据导入到B中。
可以提高数据插入效率,不必等待写完才读取下一批数据

import asyncio

from custom_conf import MONGODB_URL
from motor.motor_asyncio import AsyncIOMotorClient
from pymongo import UpdateOne


class CombineShop:
    def __init__(self, db: str, collection_read: str, collection_write: str, batch: int = 200):
        """
        初始化
        :param db: mongo database
        :param collection_read: mongo read collection
        :param collection_write: mongo write collection
        :param batch: bulk write
        """

        self.batch = batch

        self.db = db
        self.collection_read = collection_read
        self.collection_write = collection_write

        self.url = MONGODB_URL.format(self.db)
        self.queue = asyncio.Queue()  # 共享队列
        self.finished = 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值