debezium mysql_Debezium实现MySQL到SQL SERVER高效实时同步

在线QQ客服：1922638

专业的SQL Server、MySQL数据库同步软件

来自Elasticsearch中文社区的问题——

MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？

logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式 同步数据。

回到问题本身:如果库表里没有相关字段，该如何处理呢？

本文给出相关探讨和解决方案。

1.1 啥是 binlog？

binlog是Mysql sever层维护的一种 ，与innodb引擎中的redo/undo log是完全不同的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以"事务"的形式保存在磁盘中。

作用主要有:

1)复制:达到master-slave数据一致的目的。

2)数据恢复:通过mysqlbinlog工具恢复数据。

3) 。

1.2 阿里的Canal实现了增量Mysql同步

一图胜千言，canal是用java开发的基于数据库增量日志解析、提供增量数据订阅&消费的中间件。

目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。目的: 。

综上，使用binlog可以突破logstash或者kafka-connector没有自增id或者没有时间戳字段的限制，实现增量同步。

1)基于kafka Connect的Debezium 开源工程，地址:.https://debezium.io/

2)不依赖第三方的独立应用:Maxwell开源项目，地址:http://maxwells-daemon.io/

由于已经部署过conluent(kafka的企业版本，自带zookeeper、kafka、ksql、kafka-connector等)，本文仅针对Debezium展开。

Debezium是捕获数据实时动态变化的开源的分布式同步平台。能实时捕获到数据源(Mysql、Mongo、PostgreSql)的:新增(inserts)、更新(updates)、删除(deletes)操作，实时同步到Kafka，稳定性强且速度非常快。

特点:

1)简单。无需修改应用程序。可对外提供服务。

2)稳定