windows环境搭建canal集群同步binlog到Kafka

目录

一、canal 高可用集群架构原理

二、canal 高可用集群架构搭建

安装并启动zookeeper

安装kafka

安装canal admin并创建集群，

安装canal server

三、同步binlog 到kafka

 创建instance

数据库准备

验证canal 同步binlog 到kakfa

---

一、canal 高可用集群架构原理

介绍：

canal 模拟mysql slave原理，将自己伪装为slave，同步mysql master binlog。

1.Admin负责管理canal 集群配置信息，动态管理所有canal Server 配置信息；管理canal server 上的instance 队列；

2.Canal Server 创建Instance 队列，同步mysql binlog ，一个canal server 可以创建多个instance；server 采用主备模式部署，使用zk选主保证高可用。

3.instance队列 负责mysql数据库的binlog，一个instance 同步一个mysql 库的binlog，同步多个mysql binlog 需创建多个instance。

二、canal 高可用集群架构搭建

环境准备：win10，mysql ，jdk ，canal admin，canal server  ，zookeeper，kafka；

canal 集群搭建还是比较容易上手的，没有难度。

安装并启动zookeeper

1.从zookeeper 官网下载zookeeper-3.5.9-bin.tar.gz 并解压，运行bin目录下zkServer.cmd

安装kafka

1.从kakfa 官网下载 kafka_2.11-2.2.0.tgz解压，执行.\bin\windows\kafka-server-start.bat .\config\server.properties 

2.创建binlog topic 执行创建to