canal集群部署及使用

更多运维进阶知识请看：
​​https://edu.51cto.com/course/30254.html​​
​​https://edu.51cto.com/course/31241.html​

背景

为了优化查询效率，我们采用了如下的解决方式：
首先，用canal集群同步mysql数据到elasticsearch集群
然后，我们再通过elasticsearch来进行查询操作

canal简介

canal 工作原理
canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

canal数据同步架构

mysql主从复制原理

规划：

1、canal server两个节点
3、zookeeper集群三个节点
本文省略了zookeeper集群和mysql的部署及配置方式，需要注意的是mysql需要开启binlog日志

canal集群部署