大数据最新MongoDB中如何优雅地删除大量数据

一般来说，这种删除操作涉及的数据量都比较大。

对于这类删除操作，很多开发童鞋的实现就是一个简单的DELETE操作。看上去，简单明了，干净利落。

但是，这种方式，危害性却极大。

以 MySQL 为例：

• 会造成大事务

大事务会导致主从延迟，而主从延迟又会影响数据库的高可用切换。

• 回滚表空间会不断膨胀

在MySQL 8.0之前，回滚表空间默认是放到系统表空间中，而系统表空间一旦”膨胀“，就不会收缩。

• 锁定的记录多

相对而言，更容易导致锁等待。

即使是分布式数据库，如TiDB，如果一次删除了大量数据，这批数据在进行Compaction时有可能会触发流控。

所以，对于线上的大规模删除操作，建议分而治之。具体来说，就是批量删除，每次只删除一部分数据，分多次执行。

就如何删除大量数据，接下来我们看看MongoDB中的落地方案。

本文主要包括以下四部分内容。

1. MongoDB中删除数据的三种方式。

2. 三种方式的执行效率对比。

3. 通过Write Concern规避主从延迟。

4. 删除过程中碰到的Bug。

MongoDB中删除数据的三种方式

=================

在MongoDB中删除数据，可通过以下三种方式：

• db.collection.remove()

删除单个文档或满足条件的所有文档。

• db.collection.deleteMany()

删除满足条件的所有文档。

• db.collection.bulkWrite()

批量操作接口，可执行批量插入、更新、删除操作。

接下来，对比下这三种方式的执行效率。

三种方式的执行效率对比

===========

环境：MongoDB 3.4.4，副本集。

测试思路：分别使用 remove、deleteMany、bulkWrite 删除 10w 条记录（每批删除 5000 条），交叉执行 5 次。

1. remove

---

// delete_date是删除条件

var delete_date = new Date(“2021-01-01T00:00:00.000Z”);

// 获取程序开始时间

var start_time