Mysql数据同步ElasticSearch方案

在开发中遇到的问题：

项目中订单服务的订单数据量太大，mysql中查询订单过慢，如何保证快速的查询并且不会影响订单下单的速度？

当时想到的是使用ElasticSearch搜索引擎来解决查询过慢的问题，大概有如下思路：

1. 使用mysql与es的同步插件，比如比较流行的elasticsearch-jdbc

缺点： 无法灵活的添加数据，比如你对添加进mysql中的数据进行一些聚合，查询等操作之后，再添加到es，这种操作插件很难实现

 

2. 使用mq消息队列在代码中实现，理由是mq异步的特性不会影响订单下单的速度，并且能根据自己想要的数据模型进行存储到es，比如对订单以及订单详情进行冗余操作，存入es。

步骤： 订单添加到mysql  -->  拿到该订单，发送消息到mq  --> mq监听端消费消息，代码实现自己想要的数据模型，调用es保存

缺点： 涉及到的分布式事物问题，比如添加mysql成功，发送消息之后消费，消费时添加到es失败，异步操作无法回滚事物

 

3. 使用多线程代码中实现， 在进行mysql添加操作之后，开启一个线程，异步的去调用es的保存操作

缺点： 涉及到线程开销问题，不能显式的创建线程，需要用到线程池，同样存在事物问题

个人建议使用第二种方式处理，因为在mq不丢消息的前提下（mq做高可用跟消息持久化），很难出现消费端添加失败的情况，失败了可以通过日志记录后处理