介绍保证数据库与ES的一致性的实现方案

背景：我在工作中遇到了需求，报表相关的，同时用到了mysql和ES来存储和查询。在页面查询的时候，mysql和ES的字段名存在不一致，数据是从ES查的，也会在mysql里存储。这种情况下，就有必要保证数据库与ES的一致性。

下面记录4种实现方案。

从性能和耗费时间来区分，分为同步双写与异步双写。

一 同步双写

优点：速度快。

原因是把数据写到mysql的同时，把数据写到ES，也就是实时写入，所以写入速度会非常快）

缺点：性能低；存在丢数据风险

1、性能低。也是因为把数据写到mysql的同时，把数据写到ES，写入两个存储，系统的响应时间会变长，所以性能下降

2、存在丢数据风险。如果写入失败，mysql和ES里就都没有数据了。

二 异步双写

比如通过ONS消息队列进行异步。生产者往topic里发消息，消费者按照时间顺序来依次消费。

优点：性能高。

而且数据不容易丢失（即使写入失败，还能重新消费消息）

缺点：增加系统复杂度；有延时

1、消息队列需要引入消息中间件，增加了系统的复杂度

2、消费者按照时间顺序来消费，所以发消息多的时间（比如业务高峰期），用户写入的数据是没法马上看到的，会有延时

三 定时任务

设置固定的时间节点（如每天23点）， 或是时间间隔（如每隔2h）把数据库的数据同步到ES中。

优点：保证数据库和ES数据一致

缺点：会有延时

四 数据订阅

使用mysql的复制功能，将数据库的数据复制到ES

优点：数据实时一致

1、保证数据库和ES数据一致

2、实时的，延时很小

缺点：性能低

增加数据库的读取压力，降低性能

参考文章

1https://www.cnblogs.com/fangdada/p/17668765.html

2百度安全验证