canal 历史数据如何处理_MySQL日志解析工具Canal的使用

最新推荐文章于 2024-04-28 12:57:21 发布

weixin_39614675

最新推荐文章于 2024-04-28 12:57:21 发布

阅读量270

点赞数

文章标签： canal 历史数据如何处理

本文链接：https://blog.csdn.net/weixin_39614675/article/details/111682887

版权

canal伪装为slave存在接收master的同步日志

什么是Canal

简单来说就是MySQL数据同步工具，通过canal可以实现对MySQL数据变更的监听，获取数据变更情况，并应用到业务中，举个栗子，我们的订单数据一般存放在MySQL中，而常见的订单列表搜索则需要通过elasticsearch来辅助完成，那么如何将订单数据从MySQL刷入到es中呢，方案有很多比如脚本同步等，我们也可以通过canal来进行，通过监听某个表数据变更之后，将变更数据更新到es，这是非常方便的。阿里云官方也提供了DTS服务，非常强大但是收费啊

Canal的实现原理(来自官网)
- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)

php版的client

官方提供了Java版的client包，当然有很多其他语言的client也已经被开发出来，这里我们根据Java版本进行分析后，开发一个php版本的client。以加深对于canal的理解

完整代码： https://github.com/nobody05/canal_php

安装protoc 下载地址：https://github.com/protocolbuffers/protobuf/tags
将canal官网的CanalProtocol.proto、EntryProtocol.proto 文件复制到项目目录，地址：https://github.com/alibaba/canal/tree/master/protocol/src/main/java/com/alibaba/otter/canal/protocol
执行 protoc CanalProtocol.proto --php_out=./ 分别去生成php的类文件
安装PHP protocol 依赖 composer require google/protobuf
使用swoole client提供tcp client 功能
了解canal_server的tcp包处理逻辑

重点攻破

其实简单来说我们要做的就是完整与canal_server的数据交互，那么主要有以下几个步骤

如何完成client-server的网络连接，也就是TCP的处理，这个很明白了就是connect、read、write那几步
处理TCP的粘包、拆包问题，这里我们需要了解，canal_server的实现，内部使用netty提供网络服务，netty采用固定包头(4字节)第四个字节表示包体长度+包体进行包处理，这里需要去看一下下面的代码，那么我们在client进行相应的解包的时候就需要注意了，先要去除包头的内容，再去获取包体内容，然后再反序列化奥
再一个需要了解的是数据序列化方式，这里采用protocolBuf进行序列化，这是一个跨语言的工具，可以根据定义好的结构，生成不同的语言包，直接使用就可以了
对于client的使用，这里用swoole提供的client既可以了