Redis与MySQL数据双写一致性工程落地案例，java面试spring框架

canal [kə’næl]，中文翻译为 水道/管道/沟渠/运河，主要用途是用于 MySQL 数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的，采用Java语言开发；

历史背景是早期阿里巴巴因为杭州和美国双机房部署，存在跨机房数据同步的业务需求，实现方式主要是基于业务 trigger（触发器） 获取增量变更。从2010年开始，阿里巴巴逐步尝试采用解析数据库日志获取增量变更进行同步，由此衍生出了canal项目；

一句话：Canal是基于MySQL变更日志增量订阅和消费的组件。

canal的作用如下：

• 数据库镜像

• 数据库实时备份

• 索引构建和实时维护(拆分异构索引、倒排索引等)

• 业务 cache 刷新

• 带业务逻辑的增量数据处理

canal工作原理

=========

传统MySQL主从复制工作原理

MySQL的主从复制将经过如下步骤：

1. 当 master 主服务器上的数据发生改变时，则将其改变写入二进制事件日志文件中；

2. salve 从服务器会在一定时间间隔内对 master 主服务器上的二进制日志进行探测，探测其是否发生过改变，如果探测到 master 主服务器的二进制事件日志发生了改变，则开始一个 I/O Thread 请求 master 二进制事件日志；

3. 同时 master 主服务器为每个 I/O Thread 启动一个dump Thread，用于向其发送二进制事件日志；

4. slave 从服务器将接收到的二进制事件日志保存至自己本地的中继日志文件中；

5. salve 从服务器将启动 SQL Thread 从中继日志中读取二进制日志，在本地重放，使得其数据和主服务器保持一致；

6. 最后 I/O Thread 和 SQL Thread 将进入睡眠状态，等待下一次被唤醒；

canal 工作原理 canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump（转储） 协议，MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )，canal 解析 binary log 对象(原始为 byte 流)

结论之一：分布式系统只有最终一致性，很难做到强一致性。

mysql-canal-redis双写一致性

======================

对于mysql端

1.执行脚本如下：

CREATE TABLE t_user (

id bigint(20) NOT NULL AUTO_INCREMENT,

userName varchar(100) NOT NULL,

PRI