ElasticSearch使用中遇到的坑

本文总结了在使用ElasticSearch过程中遇到的一些问题,包括深度查询分页导致的数据重复、金额统计精度丢失、更新时间自动更新带来的问题、数据同步并发与丢失等问题,并提供了相应的解决策略,如调整查询排序、改变数据类型、优化同步条件等。
摘要由CSDN通过智能技术生成

1、深度查询分页之数据重复问题
【原因】ES查询如果排序字段有重复值,字段的顺序是不固定的,分页越深,重复度可能越高
【解决】查询的排序字段尽量加上主键,同时排序

2、金额统计丢失精度问题
【原因】金额在定义的时候使用的是float类型,而float的精度不是很准确
【解决】金额的类型定义为double

3、update_time自动更新 + 初始化字段问题
【原因】update_time设置为timestamp,初始化字段时,mysql表所有数据都自动更新了更新时间,同步数据量巨大,且影响了数据
【解决】update_time 不要设置为timestamp,或者尽量避免初始化字段

4、同步数据与数据库更新数据发生并发之数据没有同步问题
【原因】同步数据的时候,刚好数据表做了更新,这些更新的数据没有被同步
【解决】同步数据时,同步update_time - 5min 以前的数据

5、初次数据同步,数据丢失问题
【原因】同步数据是根据更新时间进行同步的,如果更新时间为空,则这部分数据不能更新到
【解决】首次同步数据时,确保更新依据的字段不为空

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值