基于tungsten监测mysql数据修改系统介绍

一.项目背景
项目中有个全文检索系统，此系统中需要知道应用中数据的实时更新情况，如增加，删除，这些对于索引与数据库数据的同步都很重要。针对于此处理的方式一般有两种，一种是应用层修改，直接发送消息给检索系统，此对系统的消耗是比较大的，一般不可取;另一种是应用系统跟检索系统之间有一种同步机制，可以通过计算ID checksum值的方式来保证数据的同步，此方式在公司相关的系统中都有应用，也是一种可行的方法，不过相关逻辑还是比较复杂。考虑到我们新项目中使用到的是mysql 数据库，同时通过Binlog来监测数据的更新情况在业界也有相关的应用，比如通过Binlog来更新缓存（这也是我现在手上正在做的一个项目，正在开发过程中），对新浪更新redis缓存也是基于此，相关很多公司都有应用，以上为基于Mysql Binlog来监测数据库数据更新情况的背景说明。

二.开源项目选择
Tungsten是一个开源的数据库同步工具，详细可参考官网（ https://code.google.com/p/tungsten-replicator/）
其提供的tungsten API可供下载，此API实现了mysql slave同步流程的相关功能。

三.基本流程
基于Mysql Binlog完成数据监控主要有三个流程：（对于tungsten使用的API包主要是：com.continuent.tungsten.replicator.extractor.mysql）
1.把Binlog从指定的mysql master日志目录同步