tungsten replicator 代码的修改

Tungsten Replicator是一种MySQL复制引擎，支持跨数据库系统的复制，可以把mysql的数据同步到mongodb、oracle、hdfs等。

我主要用tungsten replicator同步数据到mongodb，在使用的过程中遇到一些问题，主要包括：

1、自动生成索引名称过长。

当mysql中有update操作的时候，会根据mysql中的表结构在mongodb中建索引，索引名称为key字段名拼接在一起。如果mysql中没有key，且字段较多，可能会造成索引名称过长，超过mongodb的索引名称长度限制。

2、不支持mysql5.7中新增的json格式。

mysql5.7中的json格式的数据是按照一定的编码方式编码后存储的，在binlog中是看不出数据的样子的，tungsten replicator在解析binlog时遇到json格式的数据会报错。

3、不支持在同步到mongodb的表上添加新的字段。

比如mysql中有两个字段，同步到mongodb时也会有三个字段（包括mongodb的_id字段），mongodb比较自由，没有固定的表结构，如果我想在这个同步表上添加其他字段，在mysql上做update操作后会直接覆盖掉同步的数据，新增加的字段就没了。这样不利于利用原有的数据表。

4、不支持mongodb权限认证。

5、使用的mongodb   driver jar包的版本过低，部分功能不支持。

因此我和我们组的一个实习生对tungsten replicator代码进行了一些修改：

1、修改索引名称生成规则，用字段名称的首字母拼接起来组成索引名，大大缩短了索引的长度，基本上就不会达到mongodb的索引名称长度限制。

2、阅读mysql5.7的源代码，了解json格式数据的编码方式，然后解码成字符串。同步到mongodb后也是字符串。

3、修改写入mongodb时的代码，同步时只会覆盖mysql中有的字段，新增的字段保留。

4、增加了mongodb权限认证功能。

5、使用了较新的3.0驱动包，重新改写了mongodb客户端的代码。

经过测试，基本上没有什么问题，如果需要使用这些修改的功能，可以到github上clone后自己编译使用，地址：https://github.com/WangXiangUSTC/tungsten-replicator.git，编译需要下载gson-2.6.2.jar，把这个jar拷到tungsten-replicator/replicator/lib目录下再编译，编译方法和要求参考readme。