解析 MongoDB 副本集 Oplog 工作机制

JiaWen技术圈

已于 2024-07-04 16:36:02 修改

阅读量734

点赞数 27

分类专栏： MongoDB 文章标签： mongodb 数据库 linux 运维

于 2024-07-04 16:30:49 首次发布

本文链接：https://blog.csdn.net/gumc123/article/details/140181852

版权

MongoDB 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

副本集中的 Oplog（operation log） 是 MongoDB 用于复制数据变更的机制。Oplog 是一个特殊的固定大小集合，滚动记录了所有对 primary（主）节点进行的写操作，如果写入操作未修改任何数据或失败，则不会创建 Oplog 条目。副本集的 secondary（从）节点通过读取 Oplog 来复制数据变更（异步过程），从而保持数据一致性。下面详细介绍 Oplog 的工作机制和相关概念

Oplog 的工作机制

1. 写操作记录

当对主节点进行写操作（如插入、更新或删除文档）时，这些操作会被记录到 Oplog 中。Oplog 是一个循环集合，即当达到设定的大小限制时，新的操作会覆盖最旧的操作。每个操作记录都包含以下字段：

ts（Timestamp）：操作的时间戳。
h（Hash）：用于内部处理的哈希值。
op（Operation）：操作类型，如 i（插入）、u（更新）和 d（删除）。
ns（Namespace）：操作发生的数据库和集合名称。
o（Object）：操作的详细内容，如插入的文档或更新的字段。

2. 从节点复制

从节点会持续不断地轮询主节点的 Oplog，从上次复制的最后时间戳开始读取新的操作，并在本地应用这些操作以保持与主节点数据的一致性。这种方式使得复制过程是异步的，但通常延迟非常小。

Oplog 的配置和管理

Oplog 的大小在副本集初始化时设定，可以根据需要进行调整。通常情况下，Oplog 的大小应该足够大，以确保在短暂的主从节点断开后，从节点能够从 Oplog 中恢复所有未复制的操作

检查 Oplog 大小

你可以在 MongoDB shell 中使用以下命令检查 Oplog 的大小：

use local
db.Oplog.rs.stats()

调整 Oplog 大小

可以在启动 MongoDB 实例时通如下参数设置 Oplog 大小，单位为 MB，例如：

# cat /etc/mongod.conf
replication:
   OplogSizeMB: 10240

也可以在副本集运行时动态调整 Oplog 大小，而无需重启 mongod 进程 !!

rs.replSetResizeOplog(1, 30720)  // 将 Oplog 大小设置为 30 GB

查看 Oplog 状态

包括操作的大小和时间范围

rs0 [direct: secondary] demo01> rs.printReplicationInfo()
//> actual oplog size
//> '1254.841796875 MB'
//> ---
//> configured oplog size
//> '1254.841796875 MB'
//> ---
//> log length start to end
//> '1029907 secs (286.09 hrs)'
//> ---
//> oplog first event time
//> 'Sat Jun 22 2024 17:11:31 GMT+0800 (China Standard Time)'
//> ---
//> oplog last event time
//> 'Thu Jul 04 2024 15:16:38 GMT+0800 (China Standard Time)'
//> ---
//> now
//> 'Thu Jul 04 2024 15:16:44 GMT+0800 (China Standard Time)'