[ElasticSearch]Java API 之 滚动搜索(Scroll API)

最新推荐文章于 2024-03-22 21:09:56 发布
最新推荐文章于 2024-03-22 21:09:56 发布
阅读量1.1w 收藏 14
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch

一般搜索请求都是返回一"页"数据，无论数据量多大都一起返回给用户，Scroll API可以允许我们检索大量数据（甚至全部数据）。Scroll API允许我们做一个初始阶段搜索并且持续批量从Elasticsearch里拉取结果直到没有结果剩下。这有点像传统数据库里的cursors（游标）。

Scroll API的创建并不是为了实时的用户响应，而是为了处理大量的数据（Scrolling is not intended for real time user requests, but rather for processing large amounts of data）。从 scroll 请求返回的结果只是反映了 search 发生那一时刻的索引状态，就像一个快照(The results that are returned from a scroll request reflect the state of the index at the time that the initial search request was made, like a snapshot in time)。后续的对文档的改动（索引、更新或者删除）都只会影响后面的搜索请求。

1. 普通请求

假设我们想一次返回大量数据，下面代码中一次请求58000条数据：

 
 
  1.     /**
  2.      *  普通搜索
  3.      * @param client
  4.      */
  5.     public static void search(Client client) {
  7.         String index = "simple-index";
  8.         String type = "simple-type";
  10.         // 搜索条件
  11.         SearchRequestBuilder searchRequestBuilder = client.prepareSearch();
  12.         searchRequestBuilder.setIndices(index);
  13.         searchRequestBuilder.setTypes(type);
  14.         searchRequestBuilder.setSize(58000);
  16.         // 执行
  17.         SearchResponse searchResponse = searchRequestBuilder.get();
  18.         // 搜索结果
  19.         SearchHit[] searchHits = searchResponse.getHits().getHits();
  20.         for (SearchHit searchHit : searchHits) {
  21.             String source = searchHit.getSource().toString();
  22.             logger.info("--------- searchByScroll source {}", source);
  23.         } // for
  25.     }

运行结果：

 
 
  1. Caused by: QueryPhaseExecutionException[Result window is too large, from + size must be less than or equal to: [10000] but was [58000]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.]
  2. 	at org.elasticsearch.search.internal.DefaultSearchContext.preProcess(DefaultSearchContext.java:212)
  3. 	at org.elasticsearch.search.query.QueryPhase.preProcess(QueryPhase.java:103)
  4. 	at org.elasticsearch.search.SearchService.createContext(SearchService.java:676)
  5. 	at org.elasticsearch.search.SearchService.createAndPutContext(SearchService.java:620)
  6. 	at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:371)
  7. 	at org.elasticsearch.search.action.SearchServiceTransportAction$SearchQueryTransportHandler.messageReceived(SearchServiceTransportAction.java:368)
  8. 	at org.elasticsearch.search.action.SearchServiceTransportAction$SearchQueryTransportHandler.messageReceived(SearchServiceTransportAction.java:365)
  9. 	at org.elasticsearch.transport.TransportRequestHandler.messageReceived(TransportRequestHandler.java:33)
  10. 	at org.elasticsearch.transport.RequestHandlerRegistry.processMessageReceived(RequestHandlerRegistry.java:75)
  11. 	at org.elasticsearch.transport.TransportService$4.doRun(TransportService.java:376)
  12. 	at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37)
  13. 	... 3 more

从上面我们可以知道，搜索请求一次请求最大量为[10000]。我们的请求量已经超标，因此报错，异常信息提示我们请求大数据量的情况下使用Scroll API。

2. 使用Scroll API 请求

为了使用 scroll，初始搜索请求应该在查询中指定 scroll 参数，告诉 Elasticsearch 需要保持搜索的上下文环境多长时间（滚动时间）。

 
 
  1. searchRequestBuilder.setScroll(new TimeValue(60000));

下面代码中指定了查询条件以及滚动属性，如滚动的有效时长（使用setScroll()方法）。我们通过SearchResponse对象的getScrollId()方法获取滚动ID。滚动ID会在下一次请求中使用。

 
 
  1.     /**
  2.      * 使用scroll进行搜索
  3.      * @param client
  4.      */
  5.     public static String searchByScroll(Client client) {
  7.         String index = "simple-index";
  8.         String type = "simple-type";
  10.         // 搜索条件
  11.         SearchRequestBuilder searchRequestBuilder = client.prepareSearch();
  12.         searchRequestBuilder.setIndices(index);
  13.         searchRequestBuilder.setTypes(type);
  14.         searchRequestBuilder.setScroll(new TimeValue(30000));
  16.         // 执行
  17.         SearchResponse searchResponse = searchRequestBuilder.get();
  19.         String scrollId = searchResponse.getScrollId();
  20.         logger.info("--------- searchByScroll scrollID {}", scrollId);
  22.         SearchHit[] searchHits = searchResponse.getHits().getHits();
  23.         for (SearchHit searchHit : searchHits) {
  24.             String source = searchHit.getSource().toString();
  25.             logger.info("--------- searchByScroll source {}", source);
  26.         } // for
  27.         return scrollId;
  28.         
  29.     }

使用上面的请求返回的结果中的滚动ID，这个 ID 可以传递给 scroll API 来检索下一个批次的结果。这一次请求中不用添加索引和类型，这些都指定在了原始的 search 请求中。

每次返回下一个批次结果 直到没有结果返回时停止 即hits数组空时(Each call to the scroll API returns the next batch of results until there are no more results left to return, ie the hits array is empty)。

 
 
  1.     /**
  2.      *  通过滚动ID获取文档
  3.      * @param client
  4.      * @param scrollId
  5.      */
  6.     public static void searchByScrollId(Client client, String scrollId){
  9.         TimeValue timeValue = new TimeValue(30000);
  10.         SearchScrollRequestBuilder searchScrollRequestBuilder;
  11.         SearchResponse response;
  12.         // 结果
  13.         while (true) {
  15.             logger.info("--------- searchByScroll scrollID {}", scrollId);
  17.             searchScrollRequestBuilder = client.prepareSearchScroll(scrollId);
  18.             // 重新设定滚动时间
  19.             searchScrollRequestBuilder.setScroll(timeValue);
  20.             // 请求
  21.             response = searchScrollRequestBuilder.get();
  22.             // 每次返回下一个批次结果 直到没有结果返回时停止 即hits数组空时
  23.             if (response.getHits().getHits().length == 0) {
  24.                 break;
  25.             } // if
  26.             // 这一批次结果
  27.             SearchHit[] searchHits = response.getHits().getHits();
  28.             for (SearchHit searchHit : searchHits) {
  29.                 String source = searchHit.getSource().toString();
  30.                 logger.info("--------- searchByScroll source {}", source);
  31.             } // for
  32.             // 只有最近的滚动ID才能被使用
  33.             scrollId = response.getScrollId();
  35.         } // while
  37.     }

备注：

初始搜索请求和每个后续滚动请求返回一个新的 滚动ID——只有最近的滚动ID才能被使用。（The initial search request and each subsequent scroll request returns a new_scroll_id — only the most recent _scroll_id should be used）  

我每次后续滚动请求返回的滚动ID都是相同的，所以对上面的备注，不是很懂，有明白的可以告知，谢谢。


如果超过滚动时间，继续使用该滚动ID搜索数据，则会报错：

 
 
  1. Caused by: SearchContextMissingException[No search context found for id [2861]]
  2. 	at org.elasticsearch.search.SearchService.findContext(SearchService.java:613)
  3. 	at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:403)
  4. 	at org.elasticsearch.search.action.SearchServiceTransportAction$SearchQueryScrollTransportHandler.messageReceived(SearchServiceTransportAction.java:384)
  5. 	at org.elasticsearch.search.action.SearchServiceTransportAction$SearchQueryScrollTransportHandler.messageReceived(SearchServiceTransportAction.java:381)
  6. 	at org.elasticsearch.transport.TransportRequestHandler.messageReceived(TransportRequestHandler.java:33)
  7. 	at org.elasticsearch.transport.RequestHandlerRegistry.processMessageReceived(RequestHandlerRegistry.java:75)
  8. 	at org.elasticsearch.transport.TransportService$4.doRun(TransportService.java:376)
  9. 	at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37)
  10. 	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
  11. 	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
  12. 	at java.lang.Thread.run(Thread.java:745)


3. 清除滚动ID

虽然当滚动有效时间已过，搜索上下文(Search Context)会自动被清除，但是一值保持滚动代价也是很大的，所以当我们不在使用滚动时要尽快使用Clear-Scroll API进行清除。

  
  
  1.     /**
  2.      * 清除滚动ID
  3.      * @param client
  4.      * @param scrollIdList
  5.      * @return
  6.      */
  7.     public static boolean clearScroll(Client client, List<String> scrollIdList){
  8.         ClearScrollRequestBuilder clearScrollRequestBuilder = client.prepareClearScroll();
  9.         clearScrollRequestBuilder.setScrollIds(scrollIdList);
  10.         ClearScrollResponse response = clearScrollRequestBuilder.get();
  11.         return response.isSucceeded();
  12.     }
  13.     /**
  14.      * 清除滚动ID
  15.      * @param client
  16.      * @param scrollId
  17.      * @return
  18.      */
  19.     public static boolean clearScroll(Client client, String scrollId){
  20.         ClearScrollRequestBuilder clearScrollRequestBuilder = client.prepareClearScroll();
  21.         clearScrollRequestBuilder.addScrollId(scrollId);
  22.         ClearScrollResponse response = clearScrollRequestBuilder.get();
  23.         return response.isSucceeded();
  24.     }



4. 参考：

https://www.elastic.co/guide/en/elasticsearch/reference/2.4/search-request-scroll.html

http://www.jianshu.com/p/14aa8b09c789

5. 说明

本代码基于ElasticSearch 2.4.1 


文章出处：http://blog.csdn.net/sunnyyoona/article/details/52810397


小小北漂
关注
专栏目录
ElasticSearch Java API 中文文档
01-04
标签《ES Java API 中文文档》强调了文档的内容属性，它属于ElasticSearch的一个重要组成部分，即用Java语言进行数据交互和操作的应用程序接口部分。 从部分内容中可以提取出以下知识点： 1. **Transport Client**...
Java实现es的scroll滚动查询
m0_50008952的博客
11-30 8581
public void selectData() throws IOException { int i=1,size=2; SearchRequest searchRequest = new SearchRequest("index"); Scroll scroll = new Scroll(TimeValue.timeValueMinutes(5L)); searchRequest.scroll(scroll); S...
Elasticsearch：在 Java 客户端中使用 scroll 来遍历搜索结果 - Elastic Stack 8.x
Elastic 中国社区官方博客
09-28 1881
如果你搜索不经常更改的文档，则使用标准查询的分页效果非常好；否则，使用实时数据执行分页会返回不可预测的结果。为了绕过这个问题，Elasticsearch 在查询中提供了一个额外的参数：scroll。如果你对搜索结果分页不是很熟悉的话，请参考我之前的文章 “”。
Java elasticsearch scroll模板实现
Viogs的专栏
09-04 1524
这个过程需要对每个请求页重新进行提取+排序，效率很低，消耗很大，所以默认的最大可分页的数据是10000，超过10000是不建议的；这里我们定义了一个template如下，主要作用就是实现一个基于scroll的数据遍历模板，屏蔽开启scroll 以及 scroll遍历所有数据，通过。顾名思义，就是游标的意思，核心的应用场景就是遍历 elasticsearch中的数据；返回结果中会把scroll的id带上，再次查询的时候，直接用scroll id查询即可。的方式进行分页查询，使用。钩子函数进行数据处理。
java使用ElasticSearch的scroll查询，高效的解决es查询数量的限制。
m0_51491702的博客
05-10 5748
java使用ElasticSearch的scroll查询，高效的解决es查询数量的限制。 一、为什么要使用ES的scroll （1）首先我们要明白es的查询机制：ES的搜索是分2个阶段进行的，即Query阶段和Fetch阶段。 Query阶段比较轻量级，通过查询倒排索引，获取满足查询结果的文档ID列表。 Fetch阶段比较重，需要将每个分片的查询结果取回，在协调结点进行全局排序。 通过From+size这种方式分批获取数据的时候，随着from加大，需要全局排序并丢弃的结果数量随之上升，性能越来越差。
基于Elasticsearch Java API的参考手册
04-29
Java API是Elasticsearch官方提供的与Elasticsearch服务器进行交互的主要工具，它使得开发者能够用Java语言便捷地进行索引、搜索、聚合等多种操作。 ### 一、Elasticsearch核心概念 1. **节点(Node)**: Elastic...
Elasticsearch5.x Java API手册
06-14
Elasticsearch 5.x 版本的 Java API 手册是开发者进行 Elasticsearch 相关开发的重要参考资料。Elasticsearch 是一个流行的开源全文搜索引擎，广泛应用于数据检索、分析和实时数据存储。Java API 提供了与 Elastic...
java api 检索elasticsearch数据
07-28
在Java开发中，Elasticsearch是一个非常流行的分布式搜索引擎和数据分析平台。它提供了强大的API来执行各种复杂的查询和分析任务。本篇文章将详细讲解如何使用Java API，特别是TransportClient，来检索Elasticsearch...
ElasticSearch Java 中文文档 5.6
11-10
从文件内容来看，文档涉及到ElasticSearch Java客户端的多个方面，包括如何连接ElasticSearch集群、使用文档API进行索引、查询等操作，以及如何使用搜索API和聚合功能等高级特性。文档还提到了与ElasticSearch交互的...
【ElasticSearch】（六）浅析Scroll
暂七师师长常乃超
11-26 1565
【起因】        正常查某索引下全部数据的dsl举例如下： POST /fcar_city/city/_search?scroll=10m { "query": { "bool": { "must": [ { "match_all": { } ...
Elasticsearch Scroll (游标)API详解
luzhensmart的专栏
01-25 6561
今天我们来探讨一下Elasticsearch Scroll API，在这之前我们先回顾一下数据库的知识。 1. 相关数据库知识（帮助理解）  传统数据库游标：游标（cursor）是系统为用户开设的一个数据缓冲区，存放SQL语句的执行结果。每个游标区都有一个名字,用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由主语言进一步处理。就本质而言，游标实际上是一种能从包括多条数据记录的结果集...
Elasticsearch Scroll API详解
咻咻ing的专栏
04-19 7239
scroll 查询 可以用来对 Elasticsearch 有效地执行大批量的文档查询，而又不用付出深度分页那种代价。 游标查询允许我们 先做查询初始化，然后再批量地拉取结果。 这有点儿像传统数据库中的 cursor 。 游标查询会取某个时间点的快照数据。 查询初始化之后索引上的任何变化会被它忽略。 它通过保存旧的数据文件来实现这个特性，结果就像保留初始化时的索引 视图 一样。 深度分页的代价根源...
elasticsearch 7.9.3知识归纳整理（四）之 java实现深分页scroll
m0_37635053的博客
01-04 1469
java实现深分页scroll
Elasticsearch的scroll用法
热门推荐
hzlafangm的博客
03-26 1万+
Elasticsearch的scroll用法Java代码实现scollkibana中scoll用法 在某些场景中为了能取得所有的数据，只能使用 scroll 的方式代替 Java代码实现scoll JAVA scrolls API链接 : Using scrolls in Java. public List<String> scroll(long lastTime,long ...
Elasticsearch“滚动查询“（Scrolling）的机制的与Java使用ES Client 调用滚动查询
后端开发
06-22 4854
ES在进行普通的查询时，默认只会查询出来10条数据。我们通过设置es中的size可以将最终的查询结果从10增加到10000。如果需要查询数据量大于es的翻页限制或者需要将es的数据进行导出又当如何？ Elasticsearch提供了一种称为`"滚动查询"（Scrolling）`的机制，用于处理大型数据集的分页查询。滚动查询允许在持续的时间段内保持一个活动的搜索上下文，然后使用滚动ID进行`迭代`检索结果。滚动查询和关系型数据库中的游标有点类似，因此也叫`游标查询`
elasticsearch 的滚动（scroll）
hellozhxy的博客
06-22 1852
Scrollsearch 请求返回一个单一的结果“页”，而 scroll API 可以被用来检索大量的结果（甚至所有的结果），就像在传统数据库中使用的游标 cursor。滚动并不是为了实时的用户响应，而是为了处理大量的数据，例如，为了使用不同的配置来重新索引一个 index 到另一个 index 中去。client 支持：Perl 和 Python注意：从 scroll 请求返回的结果反映了 se...
ES系列十二、ES的scroll Api及分页实例
大叶子不小的博客
10-08 2225
上面的栗子，第一个请求返回的是第一个切片（id : 0）的文档，第二个请求返回的是第二个切片的文档。例如，如果 shard 的数量是 2 ，并且用户请求 4 slices ，那么 id 为 0 和 2 的 slice 会被分配给第一个 shard ，id 为 1 和 3 的 slice 会被分配给第二个 shard。通常，为了优化索引，后台合并进程会把较小的段合并在一起创建出新的更大的段，此时会删除较小的段。NOTE：从 scroll 请求返回的结果反映了初始搜素请求生成时的索引状态，就像时间快照一样。
Elasticsearch 的 scroll API
最新发布
weixin_49131823的博客
03-22 606
对于大量数据，可以使用 Elasticsearch 的 scroll API 来分批次地读取数据，以避免一次性读取所有数据造成的内存负担。然后，使用滚动查询持续获取剩余的数据，直到所有数据都被读取完毕。在这个函数中，我们将滚动查询的逻辑封装在 scroll_query 函数中，可以通过传入 Elasticsearch 实例、索引名称、查询语句以及其他参数来执行滚动查询。你可以根据需要调整 scroll_size 和 scroll_time 参数来控制每次查询的文档数量和滚动查询的保持时间。
Elasticsearch Java API 实用手册
"elasticsearch-java" 是一个关于使用Java与Elasticsearch进行交互的指南，涵盖了从基础到高级的各种操作，包括依赖管理、客户端、API使用、查询DSL以及索引和集群管理等内容。 Elasticsearch是一款流行的开源搜索...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值