ES 中跳跃问题和查询大量数据问题

1. preference
决定了哪些shard会被用来执行搜索操作
bouncing result问题,俩个document排序,field值相同,不同的shard上,可能排序不同,每次请求轮询打到不同的replica shard上
每次页面上看到的搜索结果的排序都不一样,这就是bouncing result,也就是跳跃的结果

解决方案: 将preference设置为一个字符串,比如说user_id,让每个user搜索的时候都使用同一个replica shard去执行,就不会看到
bouncing results了


如果一次性要查出来比如10万条数据,那么性能会很差,此时一般会采取用scoll滚动查询,一批一批的查,知道所有数据都查询处理完

使用scoll滚动搜索,可以先搜索一批数据,然后下一次在搜索一批数据,以此类推,知道搜索出全部的数据来,scoll搜索会在第一次
搜索的时候,保存一个当时的视图快照,之后会基于该旧的视图快照提供数据搜索,采用基于_doc进行排序方式,性能较高,每次发送
scroll请求,我们还需要指定一个scoll参数,指定一个时间窗口,每次搜索请求只要在这个时间窗口就好了。
GET /index/type/_search?scroll=1m

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值