Python 操作mongodb 增删改查笔记（优化内存使用过高）

1.连接mongodb 数据库

from pymongo import MongoClient
client = MongoClient("mongodb://域名:端口/")
client.admin.authenticate("用户名", "密码", mechanism='SCRAM-SHA-1')
db_1 = client["库名"]
collection_2 = db_1["表名"]

2.连接mongodb 异步处理数据

from motor.motor_asyncio import AsyncIOMotorClient
ip_2 = "mongodb://用户名:密码@IP:PORT"
myclient_2 = AsyncIOMotorClient(ip_2)
mydb = myclient_2["库名"]
mycol = mydb["表名"]

2.mongodb 查询

查询所有数据
mycol.find()
查询指定单个所有数据
mycol.find_one({"_id": 0})
查询大于的所有数据
mycol.find({"_id": {"$gt": 0}})
查询指定显示字段
mycol.find({}, {"name": 1})

3.mongodb 更新

更新所有数据
mycol.update_many({},{"更新的内容"})
更新单个指定
mycol.update_one( {"$set":{"list": dict(data_dict_2, **data_dict_1)}},{"更新的内容"})
更新所有清除指定key
mycol.update_many({"key":{"$in":[]}},{"$unset":{"key":1}})

4.mongodb 删除

删除单个数据
myquery = { "name": "Taobao" }
mycol.delete_one(myquery)
删除多个数据
myquery = { "name": {"$regex": "^F"} }
x = mycol.delete_many(myquery)
删除所有
mycol.delete_many({})
删除集合
mycol.drop()

5.mongodb 写入

插入单个数据
mydict = { "name": "RUNOOB", "alexa": "10000", "url": "https" }
x = mycol.insert_one(mydict) 
插入多个数据
#ordered 无序插入，默认是开启
mycol.insert_many(data_list, ordered=False)
使用yield 进行插入
def test():
	for i in mycol.find():
		yield i
data_list = test()
mycol.insert_many(data_list, ordered=False)

6.mongodb 异步写入

import asyncio
from pymongo.errors import BulkWriteError
from motor.motor_asyncio import AsyncIOMotorClient
async def mongodb_insert(data_list):
    try:
        mycol.insert_one(data_list)
    except BulkWriteError as e:
        print(e.details)

def test():
	for i in mycol.find():
		yield i
for i in test():
	asyncio.get_event_loop().run_until_complete(mongodb_insert(ata_list=i))
	
发现写入数据量大的时候，内存使用过高，所以进行优化，减少内存的使用率