es 游标的两种分页

最新推荐文章于 2024-05-25 13:14:00 发布
最新推荐文章于 2024-05-25 13:14:00 发布
阅读量989 收藏
点赞数
分类专栏： 总结 文章标签： es java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41476211/article/details/111289003
版权

三种分页方法:
1.from size 分页
2.scroll_id游标分页
3.searchAfter分页

配置es时es分页数据业务不能通过scroll_id获取分页数据(因为scroll_id分页拿不到更新后的数据),而searchAfter是查询实时的数据.

先贴代码
lastId代指sort value
if (lastId != null) { Object[] searchAfterArray = new Object[1]; searchAfterArray[0] = lastId; searchSourceBuilder.searchAfter(searchAfterArray); }
这时查询es就会携带分页数据
“search_after”: [172]
完成游标分页查询.

俗人码农
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
es match 查询时间段_ES分页看这篇就够了
weixin_31617975的博客
01-19 972
引言我们使用mysql的时候经常遇到分页查询的场景，在mysql中使用limit关键字来实现分页。比如下面的示例。select*fromorders_historywheretype=8limit100,100;select*fromorders_historywheretype=8limit1000,100;select*fromorders_hist...
JDBC使用游标实现分页查询的方法
09-01
本篇文章将详细介绍如何利用JDBC和游标实现分页查询，并通过两个示例代码进行解析。 1. **游标类型** - ResultSet.TYPE_FORWARD_ONLY：这是默认的游标类型，只能向前遍历结果集，不可滚动，效率较高。 - ...
es中的分页
辛星，前进的路上.
06-03 2993
Elasticsearch接受from和size参数来分页： size: 结果条数，默认10 from: 跳过开始的结果数，默认0 请求范例: GET /_search?size=5&from=10 应该当心分页太深或者一次请求太多的结果。结果在返回前会被排序。 一个搜索请求常常涉及多个分片。 每个分片生成自己排好序的结果，它们接着需要集中起来排序以确保整体排序正
ElasticSearch深度分页解决方案
最新发布
2401_83384536的博客
05-25 800
Elasticsearch 是一个实时的分布式搜索与分析引擎，在使用过程中，有一些典型的使用场景，比如分页、遍历等。在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同理，在 Elasticsearch 中，也应该尽量避免使用深度分页。这篇文章主要介绍 Elasticsearch 中分页相关内容！分页方式性能优点缺点场景低灵活性好，实现简单深度分页问题数据量比较小，能容忍深度分页问题scroll中解决了深度分页问题。
ElasticSearch - 解决ES的深分页问题 (游标 scroll)
m0_67393593的博客
08-16 948
request body和一般搜索一样，因此可以说在初始化的过程中，除了加上scroll设置游标开启时间之外，其他的都跟一般的搜寻没有两样 (要设置查询条件，也会回传前size笔的数据)游标可以增加性能的原因，是因为如果做深分页，每次搜索都必须重新排序，非常浪费，使用scroll就是一次把要用的数据都排完了，分批取出，因此比使用from+size还好。所以，当索引非常非常大(千万或亿)，是无法使用from + size 做深分页的，分页越深则越容易OOM，即便不OOM，也很消耗CPU和内存资源。...
es中3种分页的介绍以及对比
健康平安的活着的专栏
03-29 1248
由于项目现场涉密，所写代码，只能截图还原；1.初始化客户端2.scroll查询数据2.参考此代码/*** 这种常用于根据筛选条件之后抽取全部数据的场景，* scroll API 可以被用来检索大量的结果， 甚至所有的结果 ，* 注意es的游标查询的是当下时刻的数据快照，* 即在游标查询之后的数据的变动不会影响游标查询的结果，* 默认游标查询根据_doc字段进行排序*//**
ES scroll（ES游标） 解决深分页
WGH100817的博客
05-07 1814
ES scroll（ES游标） 解决深分页。 Why 当Elasticsearch响应请求时，它必须确定docs的顺序，排列响应结果。如果请求的页数较少（假设每页20个docs）, Elasticsearch不会有什么问题，但是如果页数较大时，比如请求第20页，Elasticsearch不得不取出第1页到第20页的所有docs，再去除第1页到第19页的d...
基于游标的分页接口实现代码示例
01-01
分页接口的实现，在偏业务的服务端开发中应该很常见，PC时代的各种表格，移动时代的各种feed流、timeline。 出于对流量的控制，或者用户的体验，大批量的数据都不会直接返回给客户端，而是通过分页接口，多次请求...
sqlserver --游标 实现数据分页
03-29
无措，自己用的， 编写其实还是很简单的 有详细注释
利用SQL游标存储过程分页方案
07-27
利用SQL游标存储过程分页方案，以前用过，应该还行
通过游标实现分页查询
雪辉博客
10-10 1643
该方法不适用MySQL，因为MySQL无法在存储过程外使用游标 – 开启一个事务 BEGIN; – 定义游标 DECLARE t1_cur CURSOR FOR SELECT * FROM t1; – 获取1000条记录 FETCH 1000 FROM t1_cur ; – … – 继续获取1000条记录 FETCH 1000 FROM t1_cur ; –最后结束事务 COMMIT; ...
ES多种分页方案以及深分页处理
qq_42649356的博客
03-10 1636
ElasticSearch 是一个实时的分布式搜索与分析引擎，常用于大量非结构化数据的存储和快速检索场景，具有很强的扩展性。纵使其有诸多优点，在搜索领域远超关系型数据库，但依然存在与关系型数据库同样的深度分页问题，本文将介绍ES的多种分页方式以及深分页的处理。
京东面试题：ElasticSearch深度分页解决方案
艾小仙的专栏
10-08 1605
前言Elasticsearch 是一个实时的分布式搜索与分析引擎，在使用过程中，有一些典型的使用场景，比如分页、遍历等。在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同...
ElasticSearch的分页查询语法
feizuiku0116的博客
08-01 1124
Es对于from+size的个数也是有限制的，默认限制二者之和不能超过1W，超过后会报错使用10000作为保护措施，虽然和这个参数可以修改，也可以在配置文件配置，但是最好不要这么做，当所请求的数据总量大于1W时，应用ES游标（scroll查询）来替代from+size。如果需要深度分页对服务器压力会变大。如果确认需要设置，则需要提前预估启动内存大小。...
ElasticSearch查询—分页查询详解
热门推荐
午夜阳光
12-08 3万+
Elasticsearch中数据都存储在分片中，当执行搜索时每个分片独立搜索后，数据再经过整合返回。那么，如何实现分页查询呢？      按照一般的查询流程来说，如果我想查询前10条数据：         1)客户端请求发给某个节点         2)节点转发给个个分片，查询每个分片上的前10条         3)结果返回给节点，整合数据，提取前10条
【elasticsearch】进阶检索
sdaujsj1的博客
01-06 231
三、进阶检索 1、SearchAPI ES支持两种基本方式检索 : 一个是通过使用 REST request URI 发送搜索参数（uri+检索参数） 另一个是通过使用 REST request body 来发送它们（uri+请求体） 1）、检索信息  一切检索从_search开始 GET bank/_search 检索bank下所有信息，包括type和docs GET bank/_sea...
es elasticsearch 游标查询 分页查询
weixin_34503526的博客
03-30 1367
// 分页参数 Integer currentPage = 1; Integer pageSize = 10; BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); sear...
Elasticsearch——分页查询From&Size VS scroll
xingoo
03-16 1435
Elasticsearch中数据都存储在分片中，当执行搜索时每个分片独立搜索后，数据再经过整合返回。那么，如果要实现分页查询该怎么办呢？ 更多内容参考Elasticsearch资料汇总 按照一般的查询流程来说，如果我想查询前10条数据： 1 客户端请求发给某个节点 2 节点转发给个个分片，查询每个分片上的前10条 3 结果返回给节点，整合数据，提取前10条 4 返回给请求客户端 ...
es游标分页指定分页大小
04-28
在 Elasticsearch 中，可以使用游标分页来指定分页大小。游标分页是一种基于游标的迭代器，它返回一个指向当前位置的游标，该游标可以用来检索下一批结果。使用游标分页，可以在不影响性能的情况下，处理大量数据。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值