canal学习笔记（原理与环境搭建）

最新推荐文章于 2022-07-14 17:00:41 发布

Haozz_1994

最新推荐文章于 2022-07-14 17:00:41 发布

阅读量481

点赞数 1

分类专栏： Java 文章标签： java 数据库

本文链接：https://blog.csdn.net/hz_940611/article/details/105188501

版权

本文介绍了canal项目的起源、原理及环境搭建。canal通过模拟MySQL slave与master交互，监听并解析MySQL的binlog，应用于数据库实时备份、缓存刷新、搜索索引构建等场景。支持MySQL多个版本，搭建过程包括配置MySQL的binlog及创建canal连接账号，最后启动canal服务。

摘要由CSDN通过智能技术生成

canal学习笔记（原理与环境搭建）

文章目录

canal学习笔记（原理与环境搭建）

项目简介

canal: [kə’næl]中文翻译为渠道，运河，管道
是阿里开源的使用Java开发的用于MySQL数据库增量日志数据的订阅、消费和解析

历史背景：

早期阿里在杭州和美国双机房部署，存在跨机房数据同步的业务需求，实现方式主要是基于业务trigger（触发器）获取增量变更。从2010年开始，阿里逐渐尝试采用解析数据库日志获取增量变更进行同步，由此衍生出了canal项目

Github：https://github.com/alibaba/canal，目前一直在维护更新中

一. 原理

MySQL主从复制原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log
events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

以上是canal的GitHub上对MySQL主从同步做的官方说明。上图的大致流程：当Master（MySQL主库）上的数据发生改变时，Master会记录一条数据的变化到BinaryLog中。而Slave（MySQL从库）中有I/O线程和SQL线程，I/O线程会调度请求Master的BinLog，将响应写入到自己的RelayLog（中继日志）中，SQL线程会读取RelayLog中的数据，并且在从库中Replay（重放），这样就将数据在从库中也保存了一份。需要注意的是，由于slave中的I/O线程和SQL线程是调度执行的，因此MySQL主从同步时会有一点点延迟，但基本是准实时的。