kafka connector mysql_debezium、kafka connector 解析 mysql binlog 到 kafak

目的： 需要搭建一个可以自动监听MySQL数据库的变化，将变化的数据捕获处理，此处只讲解如何自动捕获mysql 中数据的变化

使用的技术

一、思路

需要一台 Centos 7.x 的虚拟机 ，zk、debezium、kafka、confluent 运行在 虚拟机上 ，mysql 运行在 windows 系统上，虚拟机监听 window 环境下的 mysql 数据变化

二、MySQL 环境准备

首先需要找到 mysql 的配置文件：my.ini ,我的路径是：C:\ProgramData\MySQL\MySQL Server 5.7 ，因为监听基础是基于 mysql binlog ，需要开启binlog ，添加如下配置

log_bin =D:\mysql-binlog\mysql-bin

binlog_format=Row

server-id=223344binlog_row_image=full

expire_logs_days= 10binlog_rows_query_log_events= on

重启 mysql 服务

net stop mysql57

net start mysql57

此处，MySQL binlog 即开启，可以简单的验证,cmd 窗口 mysql -u root -p 登录 mysql

show binary logs;

可以看到文件内容，即mysql 变化的二进制文件。到此处，MySQL准备就绪。

二、zookeeper 、 kafka  准备

下载 zookeeper-3.4.14.tar.gz 、kafka_2.12-2.2.0.tar

mkdir -p /usr/local/software/zookeeper

mkdir-p /usr/local/software/kafka

mkdir-p /usr/local/software/confluent

准备好路径,并将安装包移入该目录，并解压

mv zookeeper-3.4.14.tar.gz /usr/local/software/zookeeper

mv kafka_2.12-2.2.0.tar

进入 zookeeper   /usr/local/software/zookeeper/zookeeper-3.4.14/conf目录，修改 zoo.cfg (原名 zoo_sample.cfg)内容

dataDir=/opt/data/zookeeper/data

dataLogDir=/opt/data/zookeeper/logs

进入 dataDir 目录，创建文件 myid ,并添加内容:  1

此处，zk 的配置修改结束。开启配置 kafka  路径是：/usr/local/software/kafka/kafka_2.12-2.2.0/config， 修改 server.properties

broker.id=1listeners=PLAINTEXT://192.168.91.25:9092

advertised.listeners&#