Canal应用
文档总体上分5部分
1. 应用场景;
2. 如何部署环境;
3. 应用端如何使用;
4. 踩坑;
5. 稳定性和实时性;
应用场景:canal的原理是伪装为rds的一个slave来监听binlog;所以canal可以用在:
1. 数据同步,比如:做在/离线数据库之间的数据同步操作;
2. 数据消费,比如:需要根据关注的数据库表的变化,做搜索增量;
3. 数据脱敏,比如:需要将线上动态数据导入到其它地方,做数据脱敏;
如何部署:
配置:
集群最低配置zookeeper X3 + canal X2,
单台机器:4C8G
增加机器数量可以提高稳定性,但是对消费速度不影响;
步骤:
1. 先搭个zk环境;zookeeper\zookeeper-3.4.6.tar.gz
2. 在三台机器上下载zookeeper安装包,3.4.6或3.4.9是稳定版本;
3. 三台机器解压安装包
4. 进入conf中复制zoo_sample.cfg 到 zoo.cfg
5. 配置zoo.cfg,
tickTime:leader-follower通信心跳时间,也就是每个 tickTime 时间就会发送一个心跳,单位ms;
initLimit:Leader-Follower初始通信时限,初始连接时能容忍的最多心跳数(tickTime的数量),比如这里 initLimit=10就是10次心跳(2000ms X 10)无应答,则认为连接失败;
syncLimit:Leader-Follower同步通信时限,请求和应答之间能容忍的最多心跳数,比如这里syncLimit=5 就是5次心跳(2000ms X 10)无应答,则认为同步失败;
dataDir:数据文件目录,默认情况下保存数据和日志;可以把myid也放这个目录下;
clientPort:zookeeper客户端的连接端口;
server.1,server.2,server.3:这里的编号1,2,3对应集群中机器的myid设的数值,必须一一对应;
2888端口号是zookeeper服务之间通信的端口。
3888端口是zookeeper与其他应用程序通信的端口。
6. 在配置好的dataDir下面新建myid,里面配置server对应的数字编号;
7. 三台机器都配置好后,启动./bin/zkServer.sh start
附常用命令:
停机:zkServer.sh stop,
查看状态:zkServer.sh status,
进入zk客户端:./bin/zkCli.sh -server 127.0.0.1:2181(如果默认端口可直接进入./bin/zkCli.sh)
手动操作节点:
查看子目录: ls /node;
查看节点内容:get /node;
删除根节点: delete /node;
递归删除节点及其子节点:rmr /node;
创建节点:create /node2 “”;
8. 如果连接客户端抛异常:Unable to read additional data from server sessionid xxx,则检查三台机器配置是否完成,myid是否对应server后面的编号,是否都已成功启动;
接下来开始搭建canal环境:
前提:rds已经打开binlog功能,并配置binlog模式为row
1. 下载最新canal安装包https://github.com/alibaba/canal/releases
2. 解压后进入conf目录:cd canal/conf
3. 把example复制出来,命名为自己连rds的一个实例:cp -r example dev_db;
4. 进入dev_db改配置,如下:
slaveId:保证canal集群中slaveId不同即可;
address:rds连接地址;
dbUsername和dbPassword:需要在rds上有repication权限;
defaultDatabaseName:配置默认监听的数据库
5. 改conf/canal.properties
canal.id:保证每台canal机器id不同;
canal.port:客户端访问端口;
canal.zkServers:zk集群地址;
canal.instance.global.spring.xml:集群模式下配置为上图;
其它默认配置即可;
6. 启动:./bin/startup.sh;停止:./bin/stop.sh;
7. 启动后,可以在zk集群节点上查看canal连接状态;
8. 查看偏移位点;
问题排查:
1.位点不匹配
ERROR c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - dump address /xxxxxx:3306 has an error, retrying. caused by
com.alibaba.otter.canal.parse.exception.CanalParseException: can't find start position for example
原因分析:canal异常停止或者rds做过切换,导致的canal消费rds的binlog位点不一致;
解决:
单机版删除conf/dev_db实例下的meta.dat;
集群版删除zk上节点:/otter/canal/destinations/test_db/1001/cursor
重启canal,恢复正常;
2.账号权限和rds配置问题
[EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error!
解决:再次确认rds,binlog是否正常,canal实例配置的账号是否有repication权限,若权限恢复,重启canal解决问题;
稳定性:
在两台canal都接入到zookeeper集群的前提下,停掉一台canal,zk会自动切换到另外一个canal继续处理binlog,因为位点都是保存在zk节点上,所以另一台canal也可以继续这个位点消费;
实时性:
可以在接收端,设置每次取数据的间隔时间,数据大小;按业务场景确定数值;
效率:
经测,在2C4G配置,测试环境网络带宽,消息接收速度大于2000条/秒;
下面是java应用端接入:
1. pom引入
<!-- canal -->
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.client</artifactId>
<version>1.0.24</version>
</dependency>
2. Demo接入
private static final Logger LOGGER = LoggerFactory.getLogger(CanalSample.class);
private static final int CANAL_BATCH_SIZE = 1000;
public static void main(String args[]) {
String zkHost = "127.0.0.1:2181,127.0.0.1:2181,127.0.0.1:2181";
String confName = "dev_db";
String canalUsername = "";
String canalPassword = "";
// 每次数据的偏移量
long batchId = 0;
// 创建链接
CanalConnector connector = CanalConnectors.newClusterConnector(zkHost, confName, canalUsername, canalPassword);
// 外层死循环:
// 在canal节点宕机后,抛出异常,
// 等待zookeeper对canal处理机的切换,
// 切换完后,继续创建连接处理数据
while (true) {
try {
connector.connect();
connector.subscribe(".*\\..*");
connector.rollback();
// 内层死循环:
// 按频率实时监听数据变化,
// 一旦收到变化数据,立即做消费处理,并ack
// 考虑消费速度,可以考虑异步处理,并ack
while (true) {
// 获取指定数量的数据
Message message = connector.getWithoutAck(CANAL_BATCH_SIZE);
batchId = message.getId();
int size = message.getEntries().size();
// 偏移量不等于-1 或者 获取的数据条数不为0 时,认为拿到消息,并处理
if (batchId == -1 || size == 0) {
// 200ms 拉一次变动数据
Thread.sleep(200);
connector.ack(batchId); // 提交确认
} else {
CanalSample.printEntry(message.getEntries());
connector.ack(batchId); // 提交确认
}
}
} catch (Exception e) {
LOGGER.error("read canal message error , exception : ", e);
// 处理失败, 按偏移量回滚数据
connector.rollback(batchId);
} finally {
// 关闭连接
connector.disconnect();
}
}
}