mysql通过kafka实现数据实时同步（四）——zookeeper集群和kafka集群配置以及kafka connector之debezium的使用

zookeeper集群和kafka集群配置以及kafka connector的使用

zooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。官网：http://zookeeper.apache.org/

kafka是一种高吞吐量的分布式发布订阅消息系统,kafka的运行依赖zooKeeper。官网：http://kafka.apache.org/

kafkaconnect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具，可自己编写。

debezium是JBOSS主导开发的一款分布式的支持数据库CDC捕获行级别的数据变更的工具，采用java编写，支持kafka使用。官网：https://debezium.io/

1、zookeeper集群配置

（1）解压

（2）进入conf目录下，复制zoo-sample.cfg文件重命名为zoo.cfg

（3）修改zoo.cfg配置

tickTime=2000
initLimit=10
syncLimit=5

#zookeeper数据存路径，需要修改
dataDir=/home/data/zookeeper
clientPort=2181

#集群机器配置，多台就配置多个server
server.1=172.17.126.32:2888:3888
server.2=172.17.126.33:2888:3888
server.3=172.17.126.34:2888:3888

说明：2888原子广播端口，3888选举端口

（4）在 dataDir目录下新建myid文件，文件内容只有一个数字表示当前服务器编号

vim myid

1

（5）远程copy文件夹到另外两台服务器，只需要修改myid文件里面的内容，命令可参考步骤二。

（6）zookeeper启动，进入bin目录下

 （7）查看状态