es筛选数据_ES 查询性能调优实践,亿级数据查询毫秒级返回

本文分享了在亿级数据量下,如何通过拆分索引、字段拉平、减少模糊匹配、使用日期字段搜索范围以及利用过滤器上下文等方法,将ES查询耗时从170秒优化至毫秒级的过程。重点强调了业务场景对查询性能的影响以及优化策略的实际应用。
摘要由CSDN通过智能技术生成

1、概述

本文简要描述 ES 查询性能的优化过程。忽略很多细节,其实整个过程并不顺利,因为并没有一个明确的指引,教你怎么做就能让性能大幅提升。很多时候不同业务有不同的场景,还是需要自己摸索一番。比如用 filter 过滤取代 query 查询,明明官方文档说 filter 速度更快。但应用到我们业务来,一开始却没有明显效果。经过反复测试,发现虽然 filter 可以省略计算分数的环节,但我们的业务查询场景,一次返回数据量不会很多,最大的瓶颈不在于打分,而在于 range 过滤和排序。可是 range 过滤和排序,这方面在网上却很少被提及。所以还是要自己根据业务场景多思考多验证。

一开始优化效果很突出,耗时从 100 秒一下子降低到 10 秒以内。但越往后其实越难做。好比从 10 分考到 60 分不容易,但 90 分考到 95 分就更加困难。

我们自己定的优化目标是 1 秒,是达到效果了。

2、ES 查询性能优化效果

优化前,随便一个 ES 查询耗时就高达 170 秒,接近 3 分钟。

注意上面的 ES 查询语句还不是最复杂的,还可以加上 qua 搜索、关键词模糊搜索,再把日期范围拉长,再加上日期排序。无法想像,耗时会变得多么惨不忍睹,简直要变成离线查询了。

可实际上,yiya 页面是在线用户进行实时查询,所以这么高的耗时是不能忍受的,需要优化。那么,数据量有上亿,耗时优化到多少才合适呢?作为一个实时接口&#x

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值