canal1.1.4的下载及安装

canal1.1.4的安装

一、找到 MySQL 配置文件的位置

➢ Linux: /etc/my.cnf

如果/etc 目录下没有，可以通过 locate my.cnf 查找位置

➢ Windows: \my.ini

➢ 在 mysql 的配置文件下,修改配置

在[mysqld] 区块

log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复
binlog-do-db=default # 需要监控的数据库名称

（1）这 个 表 示 binlog 日 志 的 前 缀 是 mysql-bin ， 以后生成的日志文件就是mysql-bin.123456 的文件后面的数字按顺序生成，每次 mysql 重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。

（2）mysql binlog 的格式有三种，

binlog_format= statement|mixed|row

◼ statement

语句级，binlog 会记录每次一执行写操作的语句。

相对 row 模式节省空间，但是可能产生不一致性，比如

update tt set create_date=now()

如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据不同。

优点： 节省空间

缺点： 有可能造成数据不一致。

◼ row

行级， binlog 会记录每次操作后每行记录的变化

优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，只记录执行后的效果。

缺点：占用较大空间。

◼ mixed

statement 的升级版，一定程度上解决了，因为一些情况而造成的 statement 模式不一致问题.

默认还是 statement，在某些情况下譬如：

当函数中包含 UUID() 时； 包含 AUTO_INCREMENT 字段的表被更新时； 执行 INSERT DELAYED 语句时；用 UDF 时；会按照 ROW 的方式进行处理。

优点：节省空间，同时兼顾了一定的一致性。

缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对 binlog 的监控的情况都不方便。

综合上面对比，Cannel 想做监控分析，选择 row 格式比较合适

二、重启mysql服务、创建canal用户

systemctl restart mysqld

/var/lib/mysql 目录下可以查看初始文件大小 154字节

在 mysql 中执行
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

三、安装canal

地址：https://github.com/alibaba/canal/releases

canal.deployer-1.1.4.tar.gz拷贝到/opt/sortware目录下，然后解压到/opt/apps/canal包下

**注意： canal解压后是散的，我们在指定解压目录的时候需要将canal指定上 **

$ mkdir /opt/software/canal

$ tar -zxvf canal.deployer-1.1.4.tar.gz -C /opt/apps/canal


# 主要的配置文件
-rwxrwxrwx. 1 root root 5316 Jul 18 23:25 canal.properties
drwxrwxrwx. 2 root root   65 Jul 19 19:48 example

canal 单机版

修改 conf/canal.properties 的配置

➢ 这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111

➢ 修改 canal 的输出 model，默认 tcp，改为输出到 kafka(tcp 就是输出到 canal 客户端，通过编写 Java 代码处理)

canal.serverMode = kafka
# kafka集群地址
canal.mq.servers = centos01:9092,centos02:9092,centos03:9092

一个 canal 服务中可以有多个 instance，conf/下的每一个 example 即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实

例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改 canal.properties 中的canal.destinations=实例 1，实例 2，实例 3

canal.destinations = example

我们这里只读取一个 MySQL 数据，所以只有一个实例，这个实例的配置文件在conf/example 目录下

➢ 配置 MySQL 服务器地址

# position info
canal.instance.master.address=192.168.42.101:3306

➢ 配置连接 MySQL 的用户名和密码，默认就是我们前面授权的 canal

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

➢ 修改输出到 Kafka 的主题以及分区数

# mq config
canal.mq.topic=g2021_db_c   # 主题名称
# dynamic topic route by schema or table regex
canal.mq.dynamicTopic=detail:doit\\.orderdetail,main:doit\\.ordermain
#canal.mq.partition=0  注释掉
# hash partition config
canal.mq.partitionsNum=4  # 打开
canal.mq.partitionHash=.*\\..*${pk}$  # 按照主键hash值进行分区

注意：默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱binlog 的顺序。如果要提高并行度，首先设置 kafka 的分区数>1,然后设置 canal.mq.partitionHash 属性

单机 canal 测试

➢ 启动 canal

$ cd /opt/apps/canal/
$ bin/startup.sh

看到 CanalLauncher 你表示启动成功，同时会创建g2021_db_c 主题

四、canal高可用

canal.zkServers = zk的地址
# 避免发送重复数据（否则在切换 active 的时候会重复发送数据）
canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
# canal.instance.global.spring.xml = classpath:spring/file-instance.xml

# 把 canal 目录分发给其他虚拟机  然后分别启动

# 因为有一个 stand-by 也要占用资源，同时 canal 传输数据宕机的情况也比较少，所以好多企业是不配置 canal 的高可用的。