使用Dbsyncer进行MySQL与Elasticsearch的全量、增量同步

一、什么是Dbsyncer

1、介绍

Dbsyncer是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景，支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

2、特点

1、组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射2、关系实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志。

应用场景：

连接器	数据源	目标源	支持版本（包含以下）
MySQL	√	√	5.7.19以上
Oracle	√	√	11g-19c
SqlServer	√	√	2008以上
PostgreSQL	√	√	9.5.25以上
ES	√	√	6.x-7.x
Kafka	开发中	√	2.10-0.9.0.0以上
File	√	√	*.txt,*.unl
SQL	√		支持以上关系型数据库
Sqlite	√
后期计划	Redis

3、下载安装包

1.安装JDK 1.8（省略详细）
2.下载安装包dbsyncer-x.x.x.zip（也可手动编译）
3.解压安装包，Window执行bin/startup.bat，Linux执行bin/startup.sh
4.打开浏览器访问：http://127.0.0.1:18686
5.账号和密码：admin/admin

4、阿里云镜像地址

docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
docker pull registry.cn-hangzhou.aliyuncs.com/lifewang/dbsyncer:latest

5、手动编译

先确保环境已安装JDK和Maven

$ git clone https://gitee.com/ghi/dbsyncer.git
$ cd dbsyncer
$ chmod u+x build.sh
$ ./build.sh

二、Linux安装Dbsyncer

1.下载好安装包后，把安装包放在虚拟机的 /opt/momodules

 2.然后解压到 /opt/installs下，在安装目录下执行 bin/startup.sh 即可启动。

 http://192.168.184.129:18686     
端口号为虚拟机的ip地址
账号密码为：admin

三、MySQL to Elasticsearch全量同步

1、添加连接

2、添加驱动

选择全量同步

3、添加表同步关系

4、点击数据源表，目标源表

5、默认关系可能是这样 

6、高级设置

我这次做的表较简单就没有修改高级设置

7、启动

 8、结果

 四、MySQL to Elasticsearch增量同步

1、修改驱动为增量同步

2、启动

刚才忘记截启动的图，运行完再截的，大家不要介意

3、结果

不用之后最好是点个停止，不要让它一直等待。