ElasticSearch实用化订单搜索方案

前言：

站外推广系统订单报表一直是一个痛点，研究后选择ES搜索引擎进行改造。上线来遇到很多问题，经历了很多的修改，现在系统终于正常运行，满足订单报表大数据量、实时更新、响应快、多维度查询的需求。

文章原本是用ppt来编写的，这里只能修改为图片来展示。

一、为什么选择ES

搜索引擎中，主要考虑到ES支持结构化数据查询以及支持实时频繁更新特性：

 

二、总体系统架构

整个业务线使用服务化方式，ES集群和数据库分库，作为数据源被订单服务系统封装为对外统一接口；各前后台应用和报表中心，使用服务化的方式获取订单数据。

三、数据更新设计

ES数据更新有批量更新和实时更新两种：

1、手动更新为初始化数据，或者修复数据时使用

2、实时更新通过监控数据库订单表的binlog，进行实时同步

四、机器、索引、参数配置

五、索引结构图

六、机器性能选择

对于频繁更新一定要考虑到使用SSD

七、文档id选择

因为是订单数据，并且有频繁数据更新，所以我们选择自己指定的唯一id，具体对比如下：

八、实时更新数据方案

实时数据更新采用监听数据库binlog的方式实现：

九、数据一致性解决方案

不一致原因：

1、各域代码发布

2、网络延时

3、集群故障

4、vdp、vms丢数据

 

解决方案：

1、使用调度任务，每天对比三个月内每天的数据

2、如果存在数据不一致，自动批量同步当天数据

3、数据不一致，自动发送告警邮件

4、调度任务可随时手动终止

5、至今尚未出现不一致的情况

 

十、数据更新、查询接口

转载于:https://my.oschina.net/u/2485991/blog/533163