通过kafka connector实现mysql数据自动同步es

整体思路：

1、使用 io.debezium.connector.mysql.MySqlConnector 自动同步数据到kafka消息队列

2、通过listener监听消息队列，代码控制数据插入es

ps：其实有更简单的方式：在此基础上使用ElasticsearchSinkConnector、ksql，完成数据的转换与自动同步es，全程无需代码控制，后续本地跑通流程后再来记录

一、连接器的下载与配置

下载debezium mysql connector

在kafka中建立connect文件夹，并解压连接器

在kafka/config下的connect-distributed.properties文件中，修改plugin.path=连接器地址

启动连接器：

bin/connect-distributed.sh -daemon config/connect-distributed.properties

postman查询连接器是否配置成功

http://localhost:8083/connector-plugins

如果返回连接器，则表示配置成功

[
   
    {