es滚动查询

于 2024-06-12 17:55:40 发布
阅读量960 收藏 24
点赞数 25
文章标签： elasticsearch 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62226781/article/details/139602246
版权

Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setti。
此报错为在查询es时，scrool超过es默认限制，通常可以通过直接执行下方👇设置临时合永久的数量。

put   /_cluster/settings
{
    "persistent": {
        "search.max_open_scroll_context": 5000
    },
    "transient": {
        "search.max_open_scroll_context": 5000
    }
}

一scrool作用

scroll 在 Elasticsearch 中用于处理大规模数据的分页查询。它能够在不重新计算每个分页的情况下，连续读取大量数据。传统的分页查询（使用 from 和 size 参数）在处理大数据集时性能较差，因为每次请求都需要重新排序和计算分页。scroll 通过在第一次查询时创建一个快照，并为后续请求维持上下文，从而提高了查询效率。
scroll 的主要作用：

  1. 处理大规模数据：适用于需要处理和检索大量数据的场景，例如数据迁移、全量索引重建、分析处理等。
  2. 保持快照：在第一次查询时创建一个数据快照，确保在整个滚动查询过程中数据的一致性，不会因为数据的更新而影响查询结果。
  3. 性能优化：避免了传统分页查询中的排序和分页计算开销，提高了性能。

二滚动停止

比如一共由1000条数据，size设置为1，这个查询语句中符合条件的有20条，它一共会查询1000次吗？
如果你的查询总共只有20条数据符合条件，而你设置的每次滚动查询的size为1，那么实际上不会进行1000次滚动查询。滚动查询会在没有更多符合条件的数据时终止。具体来说：

  1. 初始查询：第一次执行初始查询，返回第一条符合条件的数据，并生成一个scrollId。
  2. 滚动查询循环：
    • 每次滚动查询会返回下一条符合条件的数据。
    • 一旦返回的数据不再符合条件（即数据集为空），滚动查询就会停止。

具体流程：

  • 初始查询：查询到第一条符合条件的数据，并返回scrollId。
  • 滚动查询：使用scrollId进行滚动查询，获取下一条符合条件的数据，更新scrollId。
  • 终止条件：如果某次滚动查询返回的数据为空（即没有更多符合条件的数据），循环终止。

三清理

在使用 Elasticsearch 的滚动查询 (scroll search) 时，清理 scroll 的时候只需要提供最后一次的 scrollId 就可以。滚动查询是通过一系列的 scrollId 来维护会话状态的，但在清理的时候，只需要使用最新的 scrollId，这样可以释放所有相关资源。

以下是清理 scroll 的步骤：

  1. 开始滚动查询： 发送一个初始查询请求，并设置 scroll 参数（例如1分钟）。Elasticsearch 会返回一个 scrollId 和查询结果的第一批数据。
  2. 滚动查询： 使用返回的 scrollId 进行后续请求，每次请求都会返回新的 scrollId 和下一批数据。
  3. 清理 scroll： 当不再需要进行滚动查询时，可以使用最后一次返回的 scrollId 调用 _search/scroll API 并设置 scroll_id 来清理滚动会话。

只提供最后一次的 scrollId，Elasticsearch 会清理整个滚动会话的所有资源。这样做不仅简化了清理过程，也确保资源被正确释放

如果在滚动查询的循环处理中加了会有什么后果

在滚动查询的循环处理中，如果每次都重新设置 this.scroll = new Scroll(TimeValue.timeValueMinutes(1L));，会导致一些潜在问题，主要包括：

  1. 资源泄漏： 每次循环都创建一个新的 Scroll 对象可能导致多余的 scroll context 在服务器端被创建，而这些 context 可能不会被及时清理。这样会占用不必要的系统资源，可能导致 Elasticsearch 的性能下降，甚至耗尽资源。

  2. 无效的 Scroll Id： 每次重新创建一个新的 Scroll 对象并不会自动关联到之前的滚动查询上下文。这意味着你实际上没有正确地维护滚动会话，可能导致滚动查询失败或无法获取预期的数据。

  3. 潜在的性能问题： 多次创建不必要的 Scroll 对象会导致额外的开销，影响系统的整体性能。

四代码

滚动查询流程

  1. 设置滚动时间窗口：在初始查询时设置 scroll 对象，定义滚动上下文的存活时间为 5 分钟。
this.scroll = new Scroll(TimeValue.timeValueMinutes(5L));
  1. 初始查询：执行初始查询并获取第一个批次的数据。
SearchResponse response = this.execute();
  1. 处理初始查询结果：调用 scrollFunction.getResult(response) 方法处理查询结果。
if (Objects.nonNull(response)) {
    scrollFunction.getResult(response);
    this.scrollId = response.getScrollId();
  1. 滚动查询循环：在循环中使用 scrollId 执行滚动查询，获取下一批次的数据并处理。
while (searchResponse.getHits() != null && searchResponse.getHits().getHits().length > 0 && StringUtils.isNoneBlank(this.scrollId)) {
                SearchScrollRequest scrollRequest = new SearchScrollRequest(this.scrollId);
                //也会将时间重置为最初设置的时间
                scrollRequest.scroll(this.scroll); // 设置滚动上下文
                searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); // 执行滚动查询
                this.scrollId = searchResponse.getScrollId(); // 更新 scrollId
                if (searchResponse.getHits() != null && searchResponse.getHits().getHits().length > 0) {
                    scrollFunction.getResult(searchResponse); // 处理查询结果
                }
}
  1. 清理查询上下文：在所有数据处理完成后，清理滚动上下文以释放资源。
private void clearScrollContext() {
    if (this.scrollId != null && !"".equals(this.scrollId)) {
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
        clearScrollRequest.addScrollId(this.scrollId);

        try {
            if (this.client != null) {
                this.client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
            } else {
                EsClient.getInstance().getClient().clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
            }
        } catch (IOException e) {
            logger.error("清除ES-ScrollId失败", e);
        }
    }
}

以下是完整的代码

import org.apache.http.HttpHost;
import org.elasticsearch.action.search.ClearScrollRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchScrollRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.search.Scroll;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.Objects;

public class ElasticsearchScroll {

    private static final Logger logger = LoggerFactory.getLogger(ElasticsearchScroll.class);
    private RestHighLevelClient client;
    private Scroll scroll;
    private String scrollId;

    public ElasticsearchScroll(RestHighLevelClient client) {
        this.client = client;
    }

    public void executeScrollQuery(String indexName, SearchSourceBuilder searchSourceBuilder, ScrollFunction<SearchResponse> scrollFunction) {
    	//首次执行
        this.scroll = new Scroll(TimeValue.timeValueMinutes(1L)); // 设置滚动时间窗口
        SearchRequest searchRequest = new SearchRequest(indexName);
        searchRequest.scroll(scroll); // 设置滚动上下文
        searchRequest.source(searchSourceBuilder); // 设置查询条件

        try {
            // 执行初始查询
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            processScrollResponse(searchResponse, scrollFunction);
        } catch (IOException e) {
            logger.error("Error executing initial search request", e);
        } finally {
            // 确保在最后清除滚动上下文
            clearScrollContext();
        }
    }

    private void processScrollResponse(SearchResponse searchResponse, ScrollFunction<SearchResponse> scrollFunction) throws IOException {
        if (Objects.nonNull(searchResponse)) {
            scrollFunction.getResult(searchResponse); // 处理查询结果
            this.scrollId = searchResponse.getScrollId(); // 获取 scrollId

            // 当查询结果不为空时，继续滚动查询
            while (searchResponse.getHits() != null && searchResponse.getHits().getHits().length > 0 && StringUtils.isNoneBlank(this.scrollId)) {
                SearchScrollRequest scrollRequest = new SearchScrollRequest(this.scrollId);
                //也会将时间重置为最初设置的时间
                scrollRequest.scroll(this.scroll); // 设置滚动上下文
                searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); // 执行滚动查询
                this.scrollId = searchResponse.getScrollId(); // 更新 scrollId
                if (searchResponse.getHits() != null && searchResponse.getHits().getHits().length > 0) {
                    scrollFunction.getResult(searchResponse); // 处理查询结果
                }
            }
        }
    }

private void clearScrollContext() {
    if (this.scrollId != null && !"".equals(this.scrollId)) {
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
        clearScrollRequest.addScrollId(this.scrollId);

        try {
            if (this.client != null) {
                this.client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
            } else {
                EsClient.getInstance().getClient().clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
            }
        } catch (IOException e) {
            logger.error("清除ES-ScrollId失败", e);
        }
    }
}

    @FunctionalInterface
    public interface ScrollFunction<T> {
        void getResult(T response);
    }

    public static void main(String[] args) {
        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));

        try {
            ElasticsearchScroll scrollExample = new ElasticsearchScroll(client);

            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            searchSourceBuilder.query(/* your query here */);
            searchSourceBuilder.size(2000); // 设置每次查询的大小

            scrollExample.executeScrollQuery("your_index", searchSourceBuilder, searchResponse -> {
                // 处理查询结果
                System.out.println("Processing batch...");
            });
        } finally {
            try {
                client.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

如果先进行创建一个对象EsOperater build = esOperateBuilder.indexes(indexName).build();
然后在执行滚动查询executeScrollQuery，那么可能导致线程不一致，可以这么改以下：

while (searchResponse.getHits() != null && searchResponse.getHits().getHits().length > 0 && StringUtils.isNoneBlank(this.scrollId)) {
                SearchScrollRequest scrollRequest = new SearchScrollRequest(this.scrollId);
                //也会将时间重置为最初设置的时间
                scrollRequest.scroll(this.scroll); // 设置滚动上下文
                searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); // 执行滚动查询
                //先进行清理为null
				this.scroll = null;
           	 	this.scrollId = null;
           	 	
           	 	//重新设置
				// 设定滚动时间间隔
                this.scroll = new Scroll(TimeValue.timeValueMinutes(10L));
                this.scrollId = searchResponse.getScrollId(); // 更新 scrollId
                if (searchResponse.getHits() != null && searchResponse.getHits().getHits().length > 0) {
                    scrollFunction.getResult(searchResponse); // 处理查询结果
                }
            }

但是这样会导致一个问题
在循环中每次都重新创建一个新的 Scroll 对象可能会导致产生很多的 scroll 上下文，这可能会超过 Elasticsearch 的默认限制，并且清理时只清理最后一个 scrollId 会导致无法清理所有的 scroll 上下文。

m0_62226781
关注
  • 25
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
escroll:遵循curl精神的elasticsearch滚动查询命令客户端。 用于通过字段URI过滤进行数据提取的Shell工具
05-15
简单：使elasticsearch滚动搜索变得容易 安全：禁止使用delete_by_query和XDELETE 熟悉：就像常规搜索一样，模拟卷曲的使用 快速：轻巧的工具，最小的开销，可提取大型数据集 可预测：有用的进度输出 使用escroll...
java api 检索elasticsearch数据
07-28
在Java开发中，Elasticsearch是一个非常流行的分布式搜索引擎和数据分析平台。它提供了强大的API来执行各种复杂的查询和分析任务。本篇文章将详细讲解如何使用Java API，特别是TransportClient，来检索Elasticsearch...
避坑指南，Elasticsearch 分页查询的两个问题，你一定要知道
03-22 1055
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
Trying to create too many scroll contexts. Must be less than or equal to: [500].
weixin_39031707的博客
06-20 6304
从es上查询数据报错如下 Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setting. 解决办法，用linux curl命令执行，默认se...
ES - 滚动查询(scroll)
热门推荐
莫莫绵的博客
07-14 2万+
Elasticsearch-scroll滚动查询适合那种需要一次性或分批拉出大量数据做离线处理、迁移等。比起from、size分页查询可以提升点效率。不过不要再前端分页实时查询的时候使用哦！
Java ES 滚动查询
风信子
10-07 1624
需要注意的是，滚动查询并不适用于实时查询，因为它会保持资源开销，直到滚动时间过期或者显式关闭滚动查询为止。一旦滚动时间过期（在初始查询时指定的时间），或者客户端主动关闭滚动查询，相应的滚动ID将失效，不再能用于获取结果。在滚动时间内，客户端可以使用保存的滚动ID来获取更多的结果，而不需要重新发送完整的查询请求。客户端可以在滚动时间内多次使用滚动ID来获取更多的结果，直到没有更多的结果可用为止。如果有更多的结果可用，它也会返回一个新的滚动ID，以便在下一次请求中使用。
【ES实战】Search的滚动查询（Scroll）
coding and writing
11-26 9202
滚动查询（Scroll） 虽然搜索请求返回结果是单个“页面”，但scroll API 可用于从单个搜索请求中检索大量结果（甚至所有结果），其方式与在传统数据库使用相似。 scrolling不是用于实时用户请求，而是用于处理大量数据，例如：为了将一个索引的内容重新索引到具有不同配置的新索引中。 为了使用滚动，初始搜索请求应该在查询字符串中指定scroll参数，它告诉 Elasticsearch 它应该保持“搜索上下文”多长时间（请参阅保持搜索上下文活着），例如?scroll=1m。 POST /twitter
[ElasticSearch]ES操作之游标查询Scroll Search
WorldMvp的专栏
11-12 6021
一、什么是ES游标查询(Scroll) 　　顾名思义，相当于用“一把游标”标记“查询的位置”。 二、为什么要使用游标查询 　　在默认情况下，ES查询每次返回的数量最多只有1W条，且只能是前1W条。这意味着，在不修改配置的情况下，想通过分页的方式(如下)拿到1W条之后的数据是做不到的。 GET /索引/类型/_search { "size": 10000, "from": 5000, "query": { ... }, "aggs": { ...
ElasticSearch中Scroll查詢理解
Yuli_li的专栏
12-23 1588
ElasticSearch超过1W的数据处理
elasticsearch-rolling-restart:elasticsearch滚动重启脚本
06-01
Elasticsearch 滚动重启（Rolling Restart）是一种在不停止整个集群的情况下，逐个节点安全重启 Elasticsearch 的过程。这种做法确保了服务的高可用性，因为集群始终保持着一部分节点在线，处理搜索和索引请求。在...
esm：Elasticsearch迁移工具
02-06
支持切片滚动（elasticsearch 5.0 +） 支持在后台运行 通过随机化源文档ID生成测试数据 支持重命名文件名 支持统一文件类型名称 支持人员指定要从源返回的_source字段 支持指定查询字符串查询以过滤数据源 在批量...
elasticsearch-7.13.1
最新发布
05-30
10. **索引生命周期管理 (ILM)**：ILM 提供了一套自动化策略来管理索引的生命周期，包括热温冷数据分离、索引滚动、合并策略和删除策略，以优化存储成本和查询性能。 综上所述，Elasticsearch 7.13.1 是一个全面的...
ElasticSearch的scroll滚动查询以及在Springboot中的使用
ming_yeye的博客
12-05 4938
本文主要讲解es中的scroll滚动查询的使用，同时与深度分页的方式进行了一个比较。最后说明了一下scroll方法在springboot中的使用。如果你恰好需要做一个这方面的需求，不妨来看看~
Elasticsearch“滚动查询“（Scrolling）的机制的与Java使用ES Client 调用滚动查询
后端开发
06-22 4251
ES在进行普通的查询时，默认只会查询出来10条数据。我们通过设置es中的size可以将最终的查询结果从10增加到10000。如果需要查询数据量大于es的翻页限制或者需要将es的数据进行导出又当如何？ Elasticsearch提供了一种称为`"滚动查询"（Scrolling）`的机制，用于处理大型数据集的分页查询。滚动查询允许在持续的时间段内保持一个活动的搜索上下文，然后使用滚动ID进行`迭代`检索结果。滚动查询和关系型数据库中的游标有点类似，因此也叫`游标查询`
关于SpringBoot集成ES Scroll API（滚动查询）的实践
qq_40893595的博客
12-11 2574
springBoot与ES集成
ES scroll查询的坑点
qq_39325245的博客
10-09 1738
ES scroll 查询
ES三种查询
liaozhi229的博客
08-22 2124
ES海量数据查询方法
ES三种查询_es滚动查询，怎么入门大数据开发
2401_84150530的博客
04-16 408
而经过以上分析，From和Size会给es服务器造成巨大压力，且超过一万条数据，查询会报错。所以这时候需要使用Scroll查询.。1、高效进行滚动查询,首次查询会在内存中保存一个历史快照以及游标(scroll_id),记录当前消息查询的终止位置,下次查询的时候将基于游标进行消费(性能良好,不具备实施性,一般是用于大量数据导出或索引重建)3、当使用完查询的数据之后,记得要手动清理,因为scroll查询会生成快照,虽然会有过期时间,但是如果并发访问量激增的时候,都没达到过期时间,就会导致内存溢出.
es 滚动查询 与游标查询
04-18
当我们需要从Elasticsearch中检索大量数据时，通常会使用滚动查询或游标查询来处理。这两种查询方式都可以用于分批次地获取结果，以避免一次性获取大量数据而导致的性能问题。 滚动查询是一种通过保持一个活动的搜索上下文来连续地检索大量数据的方法。它的工作原理是在初始搜索请求中设置一个滚动时间间隔，然后使用返回的滚动标识符来获取下一批结果。这样可以避免在每次请求中重新计算搜索上下文，提高了查询的效率。滚动查询适用于需要对大量数据进行深度分析或导出的场景。 游标查询是一种通过使用游标来分批次地获取结果的方法。在初始搜索请求中，会返回一个游标标识符，然后使用该标识符来获取下一批结果。与滚动查询不同的是，游标查询不需要保持一个活动的搜索上下文，因此在每次请求中都需要重新计算搜索上下文。游标查询适用于需要对大量数据进行逐步处理或迭代的场景。 总结一下： - 滚动查询适用于需要连续地检索大量数据的场景，通过保持一个活动的搜索上下文来提高查询效率。 - 游标查询适用于需要分批次地获取结果的场景，通过使用游标来获取下一批结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值