Canal + MySQL + Zookeeper + Kafka 数据实时同步

目录

零、前置操作

一、Canal 入门

1.什么是Canal

2.MySQL 的 Binlog

什么是Binlog

Binlog 的分类

3.Canal 的工作原理

二、MySQL

创建数据库

创建表

开启Binlog

三、Canal 

1.下载安装

2.参数配置

四、测试

群启zk

群启Kafka

启动Canal

启动 Kafka 消费客户端测试

---

零、前置操作

MySQL：             Linux安装MySQL，并使用Navicat连接

Zookeeper：   Zookeeper - 本地安装与参数配置

                            Zookeeper - 集群搭建 + 群起集群脚本 

Kafka：           Kafka + Zookeeper + Hadoop 集群配置

Xsync：               Hadoop3.x - 本地安装 + 完全分布式安装 + 集群配置 + xsync分发脚本 

---

一、Canal 入门

1.什么是Canal

官网：GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用CanalClient来处理获得的相关数据。（数据库同步需要阿里的Otter中间件，基于Canal）。

---

2.MySQL 的 Binlog

什么是Binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。
一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

                1.MySQL Replication 在 Master 端开启 Binlog，Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。
                2.自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。

 二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

Binlog 的分类

MySQLBinlog的格式有三种，分别是STATEMENT,MIXED,ROW。在配置文件中可以选择配置binlog_format=statement|mixed|row。三种格式的区别：

                statement：语句级，binlog会记录每次一执行写操作的语句。相对row模式节省空间，但是可能产生不一致性，比如“updatettsetcreate_date=now()”，如果用binlog日志进行恢复，由于执行时间不同可能产生的数据就不同。
                优点：节省空间。
                缺点：有可能造成数据不一致。

                row：行级，binlog会记录每次操作后每行记录的变化。
                优点：保持数据的绝对一致性。因为不管sql是什么，引用了什么函数，他只记录执行后的效果。
                缺点：占用较大空间。

                mixed：statement的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题，默认还是statement，在某些情况下譬如：当函数中包含UUID()时；包含AUTO_INCREMENT字段的表被更新时；执行INSERTDELAYED语句时；用UDF时；会按照ROW的方式进行处理
                优点：节省空间，同时兼顾了一定的一致性。
                缺点：还有些极个别情况依旧会造成不一致，另外statement和mixed对于需要对binlog的监控的情况都不方便。

---

3.Canal 的工作原理

把自己伪装成 Slave ，然后从 Master 复制数据。

---

二、MySQL

创建数据库

创建表

CREATE TABLE user_info(
`id` VARCHAR(255),
`name` VARCHAR(255),
`sex` VARCHAR(255)
);

随便写点啥进去：

INSERT INTO user_info VALUES('1','van','man');

开启Binlog

vim /etc/my.cnf

把以下内容添加进去：

server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=Testdb

保存退出后重启一下MySQL服务：

systemctl restart mysqld

---

三、Canal 

1.下载安装

下载：Releases · alibaba/canal · GitHub

这里我用的是1.1.2：

下载完成后直接扔到linux里面去：

注意：canal 解压后是分散的，我们在指定解压目录的时候需要将 canal 指定到目录：

mkdir -p /opt/module/canal

tar -zxvf canal.deployer-1.1.2.tar.gz -C /opt/module/canal/

---

2.参数配置

cd /opt/module/canal/conf/

vim canal.properties

我们需要把这里的 tcp 模式修改成 kafka 模式：

接着去修改kafka的集群地址：

canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092

 当然还有host文件需要配置一下（如果你是跟着之前的博客做过来的话可以忽略此步骤）：

vim /etc/hosts

将ip地址配置进去： 

继续：

cd /opt/module/canal/conf/example

vim instance.properties

将第一行解除注释，让给个值（不可为1）：

将这里修改成MySQL中的用户名和密码： 

然后这里随便给他一个主题，然后保存退出即可：

 然后启动一下：

cd /opt/module/canal/bin

./startup.sh

---

四、测试

群启zk

zk.sh start

群启Kafka

kf.sh start

启动Canal

注意目录

cd /opt/module/canal/bin

./startup.sh

启动 Kafka 消费客户端测试

cd /opt/module/kafka/bin

./kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic canal_test

然后去数据库里随便搞点什么：

成功拿到数据！