【前后端分离博客】学习笔记05 --- canal

一、概述

使用canal + rabbitMQ 实现 MySQL 和 Elasticsearch 的数据同步

图解：

流程如下：

• 给mysql开启binlog功能

• mysql完成增、删、改操作都会记录在binlog中

• canal监听binlog变化并发送消息到MQ，项目接收消息并实时更新elasticsearch中的内容

  

 

二、什么是数据同步

elasticsearch中的数据来自于mysql数据库，因此mysql数据发生改变时，elasticsearch也必须跟着改变，这个就是elasticsearch与mysql之间的数据同步。

思路分析：

常见的数据同步方案有三种：

• 同步调用

• 异步通知

• 监听binlog

三、认识Canal

canal-github仓库

Canal介绍：Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

Canal背景：阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010 年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

Canal原理：自己伪装成 Slave，假装从 Master 复制数据，实际上就是主从复制的一个流程（通过增量复制来不断的进行订阅消费数据）

主从复制原理

• Master 主库将改变记录，写到二进制日志(Binary Log)中； 
• Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)； 
• Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

binlog的分类：statement、row、mixed。在canal配合