ElasticSearch 10000条查询数量限制

最新推荐文章于 2024-03-11 14:43:39 发布
最新推荐文章于 2024-03-11 14:43:39 发布
阅读量4.1k 收藏 9
点赞数 2
分类专栏： 存储 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76787421/article/details/133435058
版权
文章讲述了在ES中遇到分页查询10000条以上数据报错的问题，介绍了增大index.max_result_window、深度分页、滚动查询的方法，以及如何使用SpringBoot和ESClient实现这些解决方案以处理大数据量的导出需求。
摘要由CSDN通过智能技术生成

一、前言

我们将库存快照数据导入ES后发现要分页查询10000条以后的记录会报错，这是因为ES通过index.max_result_window这个参数控制能够获取数据总数from+size最大值，默认限制是10000条，因为ES考虑到数据要从其它节点上报到协调节点如果搜索请求的数据越多，会导致ES协调节点占用的堆内存和搜索排序时间越大，但是我们又有这样的需求，虽然页面展示不需要翻到10000条记录后，但在导出XLS是需要将20万条数据一次性导出，本文介绍如何实现。

二、问题重现

1、创建映射

2、构造5万条数据导入ES

搭建SpringBoot工程使用ES官方Client构造测试数据（注：ES的Client实在是太乱了，N套SDK然后不同版本差别又很大，真是折腾）。

配置依赖包

创建客户端连接

最低0.47元/天 解锁文章
菜爷面馆
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch分页搜索数量不能超过10000的解决This limit can be set by changing the [index.max_result_window] index
chenthe1的专栏
10-26 1870
统计数量推荐：track_total_hits设置为true时，搜索响应将始终跟踪与查询精确匹配的命中数(例如，当track_total_hits设置为true时，total.relation将始终等于“eq”)。如何查询精确的数据总数呢？其中，“distinct_id"是我为聚合函数随便起的名称，可以任意指定，”_id"是希望进行分组统计的字段名称。当然，如果你觉得文章有什么让你觉得不合理、或者有更简单的实现方法又或者有理解不来的地方，希望你在看到之后能够在评论里指出来，我会在看到之后尽快的回复你。
elasticsearch 查询超10000的解决方案
最新发布
苍煜
07-12 3379
scroll查询的相应数据是非实时的，如果遍历过程中插入新的数据，是查询不到的。并且保留上下文需要足够的堆内存空间。相比于 from/size 和 search_after 返回一页数据，Scroll API 可用于从单个搜索请求中检索大量结果。但是 scroll 滚动遍历查询是非实时的，数据量大的时候，响应时间可能会比较长适用场景全量或数据量很大时遍历结果数据，而非分页查询。scroll方案基于快照，不能用在高实时性的场景下，建议用在类似数据导出场景下使用。
ES设置最大查询条数限制，打破限制，聚合分组数量限制打破
桂秋拾貳
11-09 3659
​ 今天在做进行查询的时候发现，在进行分页的时候，数据超出10000以后得页数，查询的时候会报错。后查询了es官方文档发现，查询数量的默认值是10000；官网链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/index-modules.html#dynamic-index-settings。
es解决只能查询10000条数据方案
热门推荐
congge
10-20 3万+
引言 在使用es进行数据查询时，由于es官方默认限制了索引一次性最多只能查询10000条数据，查询第10001条数据开始就会报错， 错误的内容大致为：Result window is too large, from + size must be less than or equal to 通常，见到的一些网站的做法有： 限制分页的最大页数，比如为100页，参见某东网站查询某品类的商品时的分页交互 如果es中保存的数据不那么重要，如日志数据，可以考虑定期删除日志，维持数据量小于1万 但是在更多的场景下，我
【ElasticSearch】ES分页查询超过10000限制解决
一气道盟王富贵儿
03-26 1万+
解决 Elasticsearch 超过 10000 条无法查询的问题
ES查询的数量限制问题
Pluto_CSND的博客
03-11 1611
ES查询的数量限制问题。
Elasticsearch查询10000条限制解决方案
Black794的博客
10-31 4086
如果您的搜索结果超过了 max_result_window 的值，那么 Elasticsearch 将会返回一个错误，提示您使用 scroll API 或者增加 max_result_window 的值来处理这个问题。这意味着，如果您执行一个搜索请求，请求的结果超过了 10000 条记录，那么只会返回前 10000 条记录，并且 Elasticsearch 会在响应中包含一个 hits.total 字段，该字段表示总共匹配了多少条记录。search_after查询。
ES查询时只能查询10000条数据解决方案
IT之一小佬的博客
09-10 1万+
ES查询时只能查询10000条数据解决方案
es解决只能默认查询10000条数据方案
初夏0811的博客
09-04 1万+
在使用es进行数据查询时，由于es官方默认限制了索引一次性最多只能查询10000条数据，这其实是es的一种保护机制，那么很多时候我们需要突破这种限制，例如需要进入数据同步的场景，则需要查询全部的数据，如何处理呢？通过上面方案，即可实现突破Es官方限制的只能查询前10000条的限制。_all表示所有索引，针对单个索引的话修改成索引名称即可。
解决ES只能查询10000条数据的问题
骑着蜗牛向前跑的博客
04-08 1万+
这篇文章是翻译过来的，原文在此，需要科学上网。 当查询页很深或者查询的数据量很大时，深查询就会出现。es 的自我保护机制允许的一次最大查询量是 10000 条数据。在请求中加入trackTotalHits(true) 可以解除10000条的上限。 SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder().trackTotalHits(true); 三种批量查询 from size 这种实现方式有点类似于 MySQL 中的 l.
ES深度分页之坑（查询10000条的限制，Elasticsearch exception [type=search_phase_execution_exception, reason=all sha）
Liuyooer的博客
10-27 3535
一：场景复现 我们A服务在调用B服务（订单服务），进行订单查询的时候，B服务查询ES报错。 二：问题排查 1.报错问题 A服务报错msg： 调用订单服务查询异常,参数= {"jumpType":1,"pageIndex":1,"pageSize":2147483647, "saleOrderCode":["XXXXXXXXXXXXXXXX"],"searchCount":true}， result={"code":"","msg":"Elasticsearch exception [type=s
elasticsearch分页查询时最高只能查前10000条
weixin_45826787的博客
12-27 1649
解决办法： 1、在查询语句中增加一个字段：“track_total_hits”: true （能解决） //查结果列表同时获取总数，用_search，加上track_total_hits=true //仅获取总数，使用_count （无需加track_total_hits=true） POST /test_index/_search //(_count) { //在“query”前加上，可以分页查询10000之后的数据 "track_total_hits":true, "query": {
java查询es返回不限定条数_java 聚合查询elasticsearch 返回错误的解决方案
weixin_39747630的博客
02-24 2253
我在使用java对elasticsearch进行聚合查询，并对某个字段进行排序时，报错了 ，Java代码如下：publicMapsearchOnParamByPage(ElasticsearchConfigelasticsearchConfig,String[]indices,StringsortField,StringfieldKey,StringfieldVal,intfr...
Elasticsearch输出默认限制最多一万条记录
qq_44066412的博客
11-19 4261
关于elasticsearch输出默认限制最多一万条记录的问题 现象: ES默认返回数据量为10000条，当分页的from超过10000条的时候，es就会如下报错：Result window is too large, from + size must be less than or equal to:[10000] but was 原因： 当索引非常非常大(千万或亿)，是无法按照from + size做深分页的，因为分页越深则越容易OOM，即便不OOM，也是很消耗CPU和内存资源的。官方在后2.x版本中已
ElasticSearch查询大于10000条的数据
m0_67400973的博客
09-06 808
在使用es进行数据查询时，由于es官方默认限制了索引一次性最多只能查询10000条数据，查询第10001条数据开始就会报错，方案2：修改集群配置config/elasticsearch.yml 文件。如果是使用kibana等工具的dsl语句，可以参考下面编写。_all表示所有索引，针对单个索引的话修改成索引名称即可。方案1：在设置索引属性时解除索引最大查询数的限制。GET 索引名/_search。注： 部分概念介绍来源于网络。方案3：在创建索引的时候加上。
Elasticsearch(ES) - 搜索结果限制10000条原因与解决方案 - 学习实践
m0_67266585的博客
09-06 1217
1.应用场景主要用于使用ES做搜索时，出现搜索结果大于10000条时，返回的hits为10000了解其中的原理以及应对方案。2.学习/操作。
博客摘录「 es解决只能查询10000条数据方案」2023年4月11日
m0_46580493的博客
04-25 302
Java操作Elasticsearch实现count统计
elasticsearch聚合查询去掉限制10条
06-08
如果您想在 Elasticsearch 中进行聚合查询并且不限制结果数量，可以将聚合请求中的“size”参数设置为0（默认设置为10）。 例如： ``` GET /sales/_search { "size": 0, "aggs": { "sales_per_month": { "date_histogram": { "field": "date", "interval": "month" }, "aggs": { "total_sales": { "sum": { "field": "price" } } } } } } ``` 在上面的请求中，“size”参数被设置为0，这意味着 Elasticsearch 不会返回任何文档，仅返回聚合结果。因此，您将会得到所有匹配聚合条件的结果，而不仅仅是前10条记录。 请注意，这可能会导致查询的响应时间变慢。因此，在使用此方法时，请确保您的 Elasticsearch 集群能够处理大量数据并保持高性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值