mysql mongodb binlog_订阅MongoDB的数据变更比解析mysql的binlog更简单

前言

我们开源了一个订阅分发mysql的binlog的项目，一直用的非常好，忽然有天开发说能不能支持MongoDB的数据订阅呢，MongoDB的使用度也挺广泛的。安排。经过简单的了解后发现MongoDB也有类似binlog的机制，最终花了两天时间把功能完成，并统一抽象集成到binlog开源项目中，使用和binlog同一套订阅分发模型管理MongoDB数据源。整个过程非常顺利，比整mysql的binlog要简单的多了。

binlog数据订阅分发项目：https://gitee.com/kekingcn/ke...

oplog简介

先来聊聊MongoDB的主备机制，和mysql的binlog类似，在MongoDB中，有一个系统库“”Local”，库里有一个集合“oplog.rs”，这个集合类似于binlog文件，里面记录了MongoDB的所有操作。从节点通过读取oplog.rs里的数据做到数据同步。

解析oplog

和订阅mysql的binlog一样(模拟一个从节点mysql)。我们的订阅服务要像从节点那样读取解析oplog.rs里的数据。解析前先看下oplog.rs的Document的数据结构

上图是一个插入的数据的日志，可见oplog的doc中共有七个字段，含义分别如下：

ts:操作的时间戳(非常重要)

t:term最初在主数据库上生成操作的。(含义不明)

h：本次