mysql binlog kafka_利用Binlog和Kafka实时同步mysql数据到SQL SERVER四-消费Kafka消息同步数据到ES...

在线QQ客服：1922638

专业的SQL Server、MySQL数据库同步软件

1、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(一)-开启Binlog日志

2、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(二)-安装并运行Kafka

3、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(三)-Binlog日志生产消息到Kafka

4、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(四)-消费Kafka消息同步数据到ES

-项目模块

BinlogMiddleware

1、binlog中间件，负责解析binlog，把变动的数据以json形式发送到kafka队列。

KafkaMiddleware

2、kafka中间件，负责消费kafka队列中的Message，把数据写入Elasticsearch中。

-基础服务

(1)Mysql

(2)Kafka(用于存放mysql变动消息，存放于Kafka队列)

(3)Elasticsearch

-项目源码

码云:https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch

KafkaMiddleware服务主要负责消费Kafka队列消息，并将其同步到Elastcsearch(及Kafka消费者)。

本示例模拟监听teemoliu数据库的user、role表。为了方便表结构设计的很简单，均只含有id、name两个属性。

中间件读取Kafka队列的消息格式如下:

项目结构如下:

image.png

Mysql-role表数据

Mysql-user表数据

Elasticsearch同步数据