elasticsearch 大数据场景下使用scroll实现分页查询

最新推荐文章于 2024-07-12 10:56:46 发布
最新推荐文章于 2024-07-12 10:56:46 发布
阅读量1.6w 收藏 17
点赞数 2
分类专栏： Elasticsearch 文章标签： elasticsearch 分页查询 es scoll elasticsearch scroll查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Justnow_/article/details/80257180
版权
本文介绍了在大数据场景下，如何利用Elasticsearch的Scroll API进行分页查询。讨论了三种可能的解决方案，包括直接查询、设置from和size以及使用Scroll API，并详细阐述了Scroll查询的核心代码，包括初始化查询、迭代查询以及清理Scroll的过程，旨在为今后的查询工作提供参考。
摘要由CSDN通过智能技术生成

es查询大批量数据的”可能方案”

当使用es来请求大批量数据时，通常有三种办法，其一：直接查询获取全量数据；其二：使用setFrom以及setSize解决；其三：使用es自带的scroll分页支持

方案评估


对于上述方案的评估，此处建议大家可以先看看这篇文章 Elasticsearch 搜索内部执行原理

方案选择


经上述评估，显然，最终采取scroll进行分页实现，分页后的数据处理有两种方式可供处理。第一种，获取分页后的数据再聚合；第二种，直接处理分页后的数据。对于第一种，如若聚合后的数据有几十万、上百万，乃至更多，那势必会导致系统内存飙升，jvm老年代可能会被迅速打满，进而促发full gc, 若full gc后仍得不到可用空间，可能会造成oom，服务直接不可用。所以第一种处理方式是存在风险的，推荐使用第二种

核心代码


假定各位maven已配置好，es处于可用状态
使用scroll分页主要分为2步，第1步，初始化查询，获取scrollI
最低0.47元/天 解锁文章
Justnow_
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
专栏目录
ElasticSearch 大数据搜索工具使用
08-28
elasticSearch学习技巧
ElasticsearchTemplate中使用Scroll_after
weixin_40631648的博客
03-16 1322
ElasticsearchTemplate中使用Scroll_after一、es分页有几种方式？二、使用示例 一、es分页有几种方式？ 1.from + size 浅分页。 2.scroll 深分页 3.search_after 深分页 from+size查询在10000-50000条数据（1000到5000页）以内的时候还是可以的，但是如果数据过多的话，就会出现深分页问题。 为了解决上面的问题，elasticsearch提出了一个scroll滚动的方式。 scroll 类似于sql中的cursor，使用s
ElasticSearch 深度分页详解
最新发布
Deep Water Slow
07-12 1069
如果数据量小（from+size 在 10000 条内），或者只关注结果集的 TopN 数据，可以使用 from/size 分页，简单粗暴数据量大，深度翻页，后台批处理任务（数据迁移）之类的任务，使用 scroll 方式数据量大，深度翻页，用户实时、高并发查询需求，使用 search after 方式。
elasticsearch-利用游标查询 'Scroll'来做分页查询
豆豆不在了
02-15 1万+
游标查询 'Scroll' scroll 查询 可以用来对 Elasticsearch 有效地执行大批量的文档查询，而又不用付出深度分页那种代价。 游标查询允许我们 先做查询初始化，然后再批量地拉取结果。 这有点儿像传统数据库中的 cursor 。 游标查询会取某个时间点的快照数据。 查询初始化之后索引上的任何变化会被它忽略。 它通过保存旧的数据文件来实现这个特性，结果就
elasticsearch使用scroll做数据分页
nibuyaoshiwang的博客
05-27 640
from elasticsearch import Elasticsearch es_client = Elasticsearch(hosts=ES_URL, timeout=600) query_data = es_client.search(index="xxx", scroll=scroll_tm, size=es_scroll_size, body=body) if query_data.get("hits").get("hits"): scroll_id = query_d
使用scroll实现Elasticsearch数据遍历和深度分页
C18298182575的博客
01-06 719
作者：星爷 出处：使用scroll实现Elasticsearch数据遍历和深度分页 声明：转载请注明作者及出处。 背景 Elasticsearch 是一个实时的分布式搜索与分析引擎，被广泛用来做全文搜索、结构化搜索、分析。在使用过程中，有一些典型的使用场景，比如分页、遍历等。在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同理，在 Elasticsearch 中，也应该尽量避免使用深度分页。这篇文章主要介绍 Elasticsearch 中使用分页的方式、Elasticsearch .
Elasticsearch使用scroll进行分页查询
热门推荐
S-H_A-N
03-21 4万+
之前一直使用from size进行分页查询（深度分页），当数据量大的时候，对全部数据进行遍历，使用from size性能会很差，然后了解了下scroll方法，简单讲解一下scroll方法的使用。 从网上了解到，scroll类似于数据库中的游标，不考虑排序的时候，可以结合SearchType.SCAN使用。 1.首先，创建一个school索引，分片数量为5 2.使用以下方法，来
JAVA使用ElasticSearch查询in和not in的实现方式
08-26
BoolQuery是Elasticsearch中的一种查询方式，使用must、should、must_not三个关键词来实现查询。must表示文档必须完全匹配条件，should表示文档至少满足一个条件，must_not表示文档必须不匹配条件。 在查询时，...
PHP中 对es中的数据分页 查询
04-16
本文将详细探讨在PHP中如何对Elasticsearch（ES）中的数据进行分页查询，以及相关的封装技巧。 首先，我们需要理解Elasticsearch的数据分页原理。在ES中，分页主要通过两个参数实现：`from` 和 `size`。`from` 参数...
Java如何使用elasticsearch进行模糊查询
08-25
Java 使用 Elasticsearch 进行模糊查询 Elasticsearch 是一个基于 Lucene 的搜索引擎...Elasticsearch 提供了多种方式来实现模糊查询，Java 语言可以通过 Elasticsearch 的 API 来使用这些功能，实现强大的搜索功能。
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
elasticsearch使用scroll“深”分页
西凉的悲伤博客
05-11 1356
对es进查询时，单次查询数据量太大可以通过分页来查询。 一般数据不是太大可以通过from+size浅分页实现，但数据量太大会内存消耗特别大。 所以可以通过scroll来分页。 scroll分页查询返回的结果会带有这次滚动查询的scroll_id，下次查询可以通过本次scroll_id继续查询，用于接下来的查询。相当于在结果中做了个标记，通过这个标记下一次查询从这个标记处继续查询。 以查询学生id为例： SearchSourceBuilder searchSourceBuilder = new SearchS
Elasticsearch：运用 scroll 接口对大量数据实现更好的分页
Elastic 中国社区官方博客
09-19 4087
在Elasticsearch中，我们可以通过size和from来对我们的结果来进行分页。但是对于数据量很大的索引，这是有效的吗？Scroll API可用于从单个搜索请求中检索大量结果（甚至所有结果），这与在传统数据库上使用cursor的方式非常相似。Scroll不是用于实时用户请求，而是用于处理大量数据，例如，用于处理大量数据。 为了将一个索引的内容重新索引到具有不同配置的新索引中。 为了说明问...
elasticsearch使用 scroll 滚动分页实战实例
baidu_21349635的专栏
03-29 3218
文章目录背景:实战测试主方法查询构造器对每一scroll Id 做些处理导出实体类 背景: es使用page查询时，会有10000条数据限制，超过10000条就报错，查不出来了，不过可以使用scroll滚动分页来做查询。 实战 本例使用es的scroll查询，然后获取每一个scrollid对应的数据，进行自己的业务逻辑处理，最后将业务数据导出。 测试主方法 /** * 滚动导出每日行程 * * @param startTime * @param en
【Hadoop-MapReduce】MapReduce编程步骤及工作原理
weixin_53543905的博客
12-25 1756
思想分而治之map：负责分的过程reduce：负责合的过程。【Hadoop-MapReduce】MapReduce编程步骤及工作原理
elasticsearch查询之大数据集分页性能分析
无风听海
02-09 787
一、测试环境 python 3.7 elasticsearch 6.8 elasticsearch-dsl 7 安装elasticsearch-dsl pip install elasticsearch-dsl 测试elasticsearch连通性 from elasticsearch import Elasticsearch from elasticsearch_dsl import Search client = Elasticsearch(hosts=['http://127.0.0.1:920
elasticsearch 深分页问题以及解决方法
archer的技术故事
03-20 1万+
elasticsearch 深分页问题以及解决方法 本文主要参考： 1、https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html 2、《Elasticsearch权威指南》 好，下面上货。 首先介绍一下，什么是深分页问题。 当使用elasticse
Elasticsearch——Scroll
qq_37107851的博客
07-12 1282
目录 Request 先决条件 描述 路径参数 查询参数 Request body Search Scroll Api Initialize the search scroll context 检索所有相关文档 Clear the scroll context 可选参数 同步执行 异步执行 Response 完整的例子 背景：因为在开发过程中有个拉取数据的需求，数据都存在es中，刚开始用了分页查询，但是超过10000数据量之后报错。所以需要学习滚轮查询来解决该问题。 ES官
Elasticsearch分页实践&方式汇总
空山新雨后，天气晚来秋
12-01 3605
Elasticsearch大数据量分页最佳实践
java实现es分页查询_如何在elasticsearch里面使用深度分页功能
05-26
在 Elasticsearch 中，深度分页功能的使用需要考虑到性能问题。一般来说，建议不要使用过深的分页...总之，深度分页查询在 Elasticsearch 中的实现需要考虑性能问题，建议使用 scroll API 或 search_after 参数来实现。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值