mysql如何同步elasticsearch

1、基于应用程序多写

直接通过应用程序数据双写到MySQL和ES

**记录删除机制：**直接删除

一致性： 需要自行处理，需要对失败错误做好日志记录，做好异常告警并人工补偿

优点： 直接明了，能够灵活控制数据写入，延迟最低

缺点： 与业务耦合严重，逻辑要写在业务系统中

应用双写（同步）
直接通过ES API将数据写入到ES集群中，也就是写入数据库的同时调用ES API写入到ES中，这个过程是同步的

应用双写（MQ异步解耦）
对 应用双写（同步）的改进，引入MQ中间件。

把同步变为异步，做了解耦。

同时引入MQ后双写性能提高，解决数据一致性问题。

缺点是会增加延迟性，业务系统增加mq代码，而且多一个MQ中间件要维护

2、基于binlog订阅

binlog订阅的原理很简单，模拟一个MySQL slave 订阅binlog日志，从而实现CDC（change data capture）

CDC,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等。

**记录删除机制：**直接删除

这句话的理解：由于mysql的binlog记录了mysql的增删改查操作，因此可以把这些增删改查语句同步到es里面。

场景：当数据库中已存在数据，这时候需要同步mysql数据到es上面

一致性： 最终一致性

优点： 对业务系统无任何侵入

缺点： 需要维护额外增加的一套数据同步平台；有分钟级的延迟
————————————————
版权声明：本文为CSDN博主「teacher-ning」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43135754/article/details/124276511

参考地址：数据同步：MySQL到Elasticsearch_mysql同步elasticsearch_teacher-ning的博客-CSDN博客

Elasticsearch与MySQL数据同步_elasticsearch mysql_熬夜复习的博客-CSDN博客

————————————————
版权声明：本文为CSDN博主「teacher-ning」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43135754/article/details/124276511