kafka到MySQL_kafka-jdbc-connector-sink实现kafka中的数据同步到mysql

这是一篇关于通过mysql主从复制的方式进行数据同步的教程： https://zixuephp.net/article-438.html

接下来笔者要描述的是mysql的数据通过kafka，然后在实时进入其他mysql数据库的方案

有同学可能会问到为什么这么麻烦，而不直接使用主从复制的方案来解决mysql的数据同步呢？原因是通过kafka connector可以做简单的数据过滤。

由于kakfa connctor只能做简单的数据过滤，之后可能会使用mysql + kafka + flink的形式实现数据同步

kafka只用dbz connector获取mysql中的数据，具体操作细节不是本文重点，在此不在赘述，后续会补上关于dbz操作mysql数据库的文章

kafka中数据同步到mysql

需求

1. 把kafka中dbz产生的数据同步到mysql中并修改表的名字

2. 将某一topic中的数据按着不同的字段组合以及定义不同字段为主键将数据同步到不同的表中

* 暂时不考虑支持自动创建表和删除操作，因为一般生产环境中只有软删除

实现

需求1:

dbz中的数据是before-after的格式,需要将after中的数据提取出来同步到mysql中。

通过正则表达式读取topic-name, 将每个topic的名字添加上前缀作为mysql的表名字。

需求2:

topic中的value值不可以为null,对于过滤的字段必须存在topic的struct中。

工具

kafka-jdbc-connector-sink.jar

配置

通过正则读取dbz的topic,替换表名后写入mysql(启动一个connector操作多个topic，一个topci对应一张表)

curl -H "Content-Type:application/json" -X PUT -d '{

"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",

"connection.url": "jdbc:mysql://mysql-url:3306/db-name",

"connection.user": "username",

"connection.password