本文探讨了在MongoDB中删除大量数据的三种方法：remove、deleteMany和bulkWrite，通过实例比较了它们的执行效率。在删除操作中，推荐使用deleteMany结合ObjectID进行批量删除，并通过设置Write Concern来确保数据安全性并降低主从延迟。文章还提到了遇到的一个Bug，即在删除最后一批数据时程序可能会挂起，该问题可能与线上集合的记录长度有关。
}
var cursor = db.test_collection.find({“createtime”: {$lt: delete_date}}, {“_id”: 1}).sort({“_id”: 1}).limit(batch_num);
rows = rows - batch_num;
var delete_ids = [];
// 将满足条件的主键值放入到数组中。
cursor.forEach(function (each_row) {
delete_ids.push(each_row[“_id”]);
});
// 通过deleteMany一次删除5000条记录。
db.test_collection.deleteMany({
‘_id’: {“$in”: delete_ids},
“createTime”: {‘$lt’: delete_date}
},{w: “majority”})
}
var end_time = new Date();
print((end_time - start_time) / 1000);
3. bulkWrite
实现思路同deleteMany类似，也是将待删除的_id放到一个数组中，最后再调用bulkWrite进行删除。
具体代码如下：
var delete_date = new Date(“2021-01-01T00:00:00.000Z”);
var start_time = new Date();
rows = db.test_collection.find({“createtime”: {$lt: delete_date}}).count()
print(“total rows:”, rows);
var batch_num = 5000;
while (rows > 0) {
if (rows < batch_num) {
batch_num = rows;
}
var cursor = db.test_collection.find({“createtime”: {$lt: delete_date}}, {“_id”: 1}).sort({“_id”: 1}).limit(batch_num);
rows = rows - batch_num;
var delete_ids = [];
cursor.forEach(function (each_row) {
delete_ids.push(each_row[“_id”]);
});
db.test_collection.bulkWrite(
[
{
deleteMany: {
“filter”: {
‘_id’: {“$in”: delete_ids},
“createTime”: {‘$lt’: delete_date}
}
}
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
