ES deeping pageing

最新推荐文章于 2022-12-05 18:02:03 发布
最新推荐文章于 2022-12-05 18:02:03 发布
阅读量368 收藏 1
点赞数
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mn_kw/article/details/82668451
版权

deep pageing
在分页的时候会出现deep pageing 就是说搜索的特别深，比如共有60000条数据，每个shard上分到了20000条数据，每页是10条
数据，这个时候，你要搜索到第1000页
每个shard，其实都要返回的是最后十条数据，看起来好像是每个shard上的10001-10010，10条数据，不是这样理解的

你的请求首先可能打倒不包含这个index的shard的node上去，这个node就是coordinating node,那么这个coordinate node就会将
搜索请求转发到index的三个shard所在的node上去

比如说要搜索60000条数据中的第1000页，实际上每个shard都要将内部的20000条数据中的第10001-10010条数据，拿出来，不是
才10条，是10010条数据，3个shard，每个shard都返回10010条数据给coordinate node，coordinate node总共会收到30030条数
据，然后在这些数据中进行排序，_score,相关度分数，然后取到排位最高的前10条数据，其实就是我们要的最后的1000页的10条
数据

搜索的过程中，就需要在coordinate node上保存大量的数据，还要进行大量的排序，排序后，再取出对应的那一页，所以这个
过程，即耗费网络带宽，耗费内存，还耗费cpu,所以deeping paging的性能问题，我们尽量避免出现这种操作

mn_kw
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
deeping leraning Softmax
05-18
深度学习资料softMax def variable_summaries(var): with tf.name_scope('summaries'): mean = tf.reduce_mean(var) tf.summary.scalar('mean', mean) with tf.name_scope('stddev'): stddev = tf.sqrt(tf....
es深分页查询
weixin_39298366的博客
05-23 1661
/** * 利用游标进行深分页查询 注:此方法可支持跳转页,但是翻页越往后越慢 * @param type es查询类型 * @param order 排序字段 * @param map 查询条件 * @param pageNo 当前页码 * @param pageSize 每页显示数量 * @return 结果集 */ public static Map<...
es中的分页
辛星，前进的路上.
06-03 2992
Elasticsearch接受from和size参数来分页： size: 结果条数，默认10 from: 跳过开始的结果数，默认0 请求范例: GET /_search?size=5&from=10 应该当心分页太深或者一次请求太多的结果。结果在返回前会被排序。 一个搜索请求常常涉及多个分片。 每个分片生成自己排好序的结果，它们接着需要集中起来排序以确保整体排序正
Android Jetpack Kotlin/Java pageing3的基础使用。
丿灬安之若死
05-27 740
Java可以参考 2021年最全面的Jetpack系统学习课程，看他就够了，更新中_哔哩哔哩_bilibili Kt可以参考 郭林大神的： Jetpack新成员，Paging3从吐槽到真香_guolin的博客-CSDN博客_paging3 他里面提供了数据接口 我没有提供。 美中不足的地方我又找到了。 他这个地方用的是loadSize 第一个开始都是好好的 但是后面会变为前面的三倍，也就是 分页数据 第一次正常1 第二次正常2 第三次正常3 第四次 不正常 1= 第一..
初识搜索引擎_分页搜索，以及deep_paging性能问题深度图解揭秘
weixin_45012575的博客
09-14 133
1、如何使用es进行分页搜索的语法 size,from GET test_index/test_type/_search?size=10&from=0 分页的上机实验 GET test_index/test_type/_search 运行结果 { "took": 7, "timed_out": false, "_shards": { "total": 5, ...
es分页查询原理
qq_31157401的博客
04-15 5347
es分页查询 1、page+size GET test_dev/_search { "query": { "bool": { "filter": [ { "term": { "age": 28 } } ] } }, "size": 10, "from": 20 } 和mysql类似，查询深分页时性能较差。当page*size过大时，会出现效率急剧下降的问
RPML和Deeping Learning打包下载，深度学习必读书目
12-26
标题中的"RPML"指的是《Probabilistic Machine Learning》（概率机器学习）的缩写，而"Deeping Learning"很可能是“Deep Learning”（深度学习）的拼写错误。这个压缩包显然包含了两本在AI领域非常重要的书籍，一本...
Deepin深度Linux安装与使用(下)
08-31
★Deepin★深度Linux安装与使用(下)
DeepingLearning
03-30
深度学习（Deep Learning）是人工智能领域的一个重要分支，它通过模拟人脑神经网络的工作机制，构建多层非线性处理单元的模型，从而实现对复杂数据的高效学习和理解。在深度学习中，深度信念网络（Deep Belief ...
js翻页分页pageing组件.
03-27
js翻页分页pageing组件.
非常好用的JQueryPageing分页组件（包含demo）
12-25
非常好用的JQueryPageing分页组件（包含demo），小巧易使用，包含demo例子程序，样式也是自带。
Elasticsearch分页的坑
倔强禅师的博客
01-06 992
1.from + size 传统的from+size的方法在数据量小时，客户端获取要求有顺序时可以使用。 2.scroll + scan 在数据量太大，尤其是需要遍历全部数据时，应该使用这种方式。 原因：假设每页大小为10，在获取第1001页时，es实际上是向每个分片发送请求第10000到10010的数据，每个分片会进行一次排序，如果有十个分片，就会获取所有分片的前10个，因此给CPU和内存造成很大的压力。使用scroll方式，es生成一个快照，并维护一个scroll_id，相当于一个索引下标，这个id有个
ES 深度分页问题及针对不同需求下的解决方案（Deep paging）
热门推荐
Elastic开源社区
10-16 1万+
1、什么是深度分页（Deep paging）？ 1.1 ES中from+size分页 分页问题是Elasticsearch中最常见的查询场景之一，正常情况下分页代码如实下面这样的： GET order_2290w/_search { "from": 0, "size": 5 } 输出结果如下图： 很好理解，即查询第一页的5条数据。图中数字2即返回的五条文档数据。但是如果我们查询的数据页数特别大，达到什么程度呢？当from + size大于10000的时候，就会出现问题，如下图报错信息所示： 报
【Es】es deep paging问题
九师兄
10-05 426
1.概述 关联博客：【elasticsearch】elasticsearch 搜索结果的含义 转载：https://blog.csdn.net/gwd1154978352/article/details/82943037 2.分页搜索 在正常搜索之后添加 ?from=0&size=2 注：当数据量达到50000条以上时，用下面的scroll滚动的方式进行代替 GET /_search?from=0&size=2 返回结果 { "took": 3, "timed_out": fa.
Elasticsearch7.1.4基于Client 写了个demo(增删改查)
zgn3832556的博客
03-03 503
Elasticsearch基于Client 写了个demo(增删改查) 最近项目用到了Elasticsearch存储一些资讯文档。好久没弄Elasticsearch，百度了一下，发现Elasticsearch版本变化挺大的，记得以前弄的时候还是5.XX版本，由于线上环境用的阿里云Elasticsearch7.1.4，所以下面代码是基于7.14的demo代码，其他版本没有测试，不扯了，开始上代码。 yml配置 elasticsearch: user: password: host: 127.0.0
TP5 ElasticSearch 封装分页类 并 实现搜索后分页
m0_58699900的博客
06-09 331
1、在第三方扩展类库中封装EsPage.php类文件 2、声明命名空间 namespace tools\es; use think\Config; 3、封装EsPage类 public static function paginate($results, $listRows = null, $simple = false, $config = []) { if (is_int($simple)) { $total = $simple;
SpringBoot加ES整合的一些基本方法
m0_61910385的博客
03-18 3342
1、导入Elasticsearch依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> 注意这个是parent为低版本的情况下 <parent&g...
elasticsearch中的聚合分组查询
最新发布
qq_40708942的博客
12-05 4639
分组聚合及嵌套查询 聚合查询可以理解为SQL中的求和、求最大值、最小值以及求均值的需求 嵌套可以理解为es存值的某一个字段为对象属性的值做处理.Elasticsearch Java API分组与聚合结合 需要对多个字段分组 需要将分组结果的其他字段再进行统计的sum、min、max、avg聚合 只聚合不分组 简单的分组查询 解析查聚合结果 上面是最简单的一层聚合查询,其实其他复杂的聚合也都是大同小异,就是一个套娃的操作.复杂聚合查询 ElasticSearch Java API嵌套 上面E
幽默计算：第七届全国社会媒体处理大会探析
"SMP2018-第七届全国社会媒体处理大会2，林鸿飞教授的幽默计算探讨，2018年8月3日在哈尔滨友谊宫举行" 在这次大会中，林鸿飞教授深入探讨了幽默计算这一前沿领域。幽默计算是人工智能的一个分支，致力于理解和模拟...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值