在线QQ客服:1922638
专业的SQL Server、MySQL数据库同步软件
1、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(一)-开启Binlog日志
2、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(二)-安装并运行Kafka
3、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(三)-Binlog日志生产消息到Kafka
4、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(四)-消费Kafka消息同步数据到ES
-项目模块
BinlogMiddleware
1、binlog中间件,负责解析binlog,把变动的数据以json形式发送到kafka队列。
KafkaMiddleware
2、kafka中间件,负责消费kafka队列中的Message,把数据写入Elasticsearch中。
-基础服务
(1)Mysql
(2)Kafka(用于存放mysql变动消息,存放于Kafka队列)
(3)Elasticsearch
-项目源码
码云:https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch
(1)binlog简介
binlog,即二进制日志,它记录了数据库上的所有改变,并以二进制的形式保存在磁盘中;
它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制(主从数据库的复制)。
(2)Binary Log记录方式
Row Le