Canal实现Mysql和ES数据同步

  1.ES概述
 

　　ES全称为"ElasticSewrch", 是一个基于RESTful web接口, 并且构建在Apache Lucene之上的开源分布式搜索引擎。
 

　　ES可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。
 

　　简单来说, ES可以帮助我们快速完成海量数据的搜索工作。
 

　　2.场景介绍
 

　　在实际开发中,为了保证数据的安全性和持久性, 所以,我们一般会把数据存储的数据库中, 比如mysql数据库。
 

　　但, 如果数据量比较大, 并且搜索业务比较多, 则需要使用ES来实现我们的搜索功能。
 

　　而ES所实现的搜索, 需要把数据放入ES中, 才能实现, 所以, 就需要我们把mysql中的数据, 同步到ES中才可以。
 

　　3.实现方案
 

　　实现Mysql与ES之间的数据同步, 大体上可以分为三种方案:
 

　　方案一：同步调用

　

　　方案二：异步通知

　　

　　方案三：监听binlog

　　

　　4.监听binlog
 

　　在以上三种实现方案中, 可靠性相对来说比较好的是第三种方案"监听binlog",
 

　　| 方案 | 优势 | 缺点 |

　　| ---------- | ------------------------------ | -------------------------------------- |

　　| 同步调用 | 实现简单，粗暴 | 业务耦合度高 |

　　| 异步通知 | 低耦合，实现难度一般 | 依赖mq的可靠性 |

　　| 监听binlog | 完全解除服务间耦合, 可靠性较强 | 开启binlog增加数据库负担、实现复杂度高 |
 

　　4.1 实现原理
 

　　binlog其实就是Binary Log, 是MySQL二