zookeeper集群和kafka集群配置以及kafka connector的使用
zooKeeper是一个分布式协调服务,它的主要作用是为分布式系统提供一致性服务,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。官网:http://zookeeper.apache.org/
kafka是一种高吞吐量的分布式发布订阅消息系统,kafka的运行依赖zooKeeper。官网:http://kafka.apache.org/
kafkaconnect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具,可自己编写。
debezium是JBOSS主导开发的一款分布式的支持数据库CDC捕获行级别的数据变更的工具,采用java编写,支持kafka使用。官网:https://debezium.io/
1、zookeeper集群配置
(1)解压
(2)进入conf目录下,复制zoo-sample.cfg文件重命名为zoo.cfg
(3)修改zoo.cfg配置
tickTime=2000
initLimit=10
syncLimit=5#zookeeper数据存路径,需要修改
dataDir=/home/data/zookeeper
clientPort=2181#集群机器配置,多台就配置多个server
server.1=172.17.126.32:2888:3888
server.2=172.17.126.33:2888:3888
server.3=172.17.126.34:2888:3888说明:2888原子广播端口,3888选举端口
(4)在 dataDir目录下新建myid文件,文件内容只有一个数字表示当前服务器编号
vim myid
1
(5)远程copy文件夹到另外两台服务器,只需要修改myid文件里面的内容,命令可参考步骤二。
(6)zookeeper启动,进入bin目录下
(7)查看状态