Elasticsearch(ES) - 搜索结果限制10000条原因与解决方案 - 学习实践

最新推荐文章于 2024-05-07 15:45:55 发布
最新推荐文章于 2024-05-07 15:45:55 发布
阅读量1.3k 收藏
点赞数
分类专栏： java 文章标签： elasticsearch 学习 搜索引擎 java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402914/article/details/126581501
版权

1.应用场景

主要用于使用ES做搜索时，出现搜索结果大于10000条时，返回的hits为10000

了解其中的原理以及应对方案。

2.学习/操作

1.文档阅读

Elasticsearch：如何在搜索时得到精确的总 hits 数 - movih - 博客园

https://github.com/elastic/elasticsearch/issues/33028

Count API | Elasticsearch Guide [7.15] | Elastic

Elasticsearch解决只能查询10000条数据方案_风起～的博客-CSDN博客_es只能查询10000条

2.整理输出

TBD

简单说，ES默认返回的hits value为10000， 如果满足条件的结果超过10000.

是可以修改配置，但是不推荐修改，因为有灰性能损耗，至于损耗多少，什么程度，这里暂时不清楚，还需要继续查看文档以及做实验，甚至是在生产环境中得到具体的数据支持。

分析性能损耗，应该从理论分析与实践分析，理论与实践缺一都是不完整的。

Note

因为个人开发时，这个需求，刚好可以用另外一种方式去实现，另外一种表中有记录总数，所以就不再通过ES来获取，但是这种情况是特殊情况。不过其实也可以参考这种方式，记录下，总数，如果权衡之下，未必不可。

后续补充

…

3.问题/补充

TBD

4.参考

Elasticsearch：如何在搜索时得到精确的总 hits 数 - movih - 博客园

https://github.com/elastic/elasticsearch/issues/33028

Count API | Elasticsearch Guide [7.15] | Elastic

Elasticsearch解决只能查询10000条数据方案_风起～的博客-CSDN博客_es只能查询10000条

后续补充

…

用户昵称23
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch输出默认限制最多一万条记录
qq_44066412的博客
11-19 4219
关于elasticsearch输出默认限制最多一万条记录的问题 现象: ES默认返回数据量为10000条，当分页的from超过10000条的时候，es就会如下报错：Result window is too large, from + size must be less than or equal to:[10000] but was 原因： 当索引非常非常大(千万或亿)，是无法按照from + size做深分页的，因为分页越深则越容易OOM，即便不OOM，也是很消耗CPU和内存资源的。官方在后2.x版本中已
Elasticsearch解决只能查询10000条数据方案
热门推荐
weixin_39641746的博客
10-12 1万+
es官方默认限制索引查询最多只能查询10000条数据，查询第10001条数据开始就会报错，Result window is too large, from + size must be less than or equal to 但是很多时候10000数据不能满足项目的需求。 解决方案： 第一种办法.在kibana中执行,解除索引最大查询数的限制 put _all/_settings { “in...
【ElasticSearch】ES分页查询超过10000限制解决_elasticsearch 分页上限
最新发布
2401_84790619的博客
05-07 897
得知这个情况，我是很震惊的，因为对ES还没有全面学习（也可以说一点都没有 bushi）。富贵儿：也就是说，目前使用ES查询，没办法查10000以后的数据，我可以这么理解不？富贵儿：emmmm因为我不了解哦，先确认下，就是我们这里调用要改。富贵儿：刚刚就有人查了，线上报错了，才发现了这个问题。富贵儿：你们没有超过10000的分页需求？富贵儿：拼装查询参数这里，要改一下是吧。大佬：是啊，只能查前10000条。富贵儿：为啥，我这边现在就遇到了。
Elasticsearch 搜索数量不能超过10000的解决方案
爱喝咖啡的程序员的博客
07-29 1万+
目录一. 问题描述二. 问题分析三. 解决方案3.1 调大index.max_result_window(不推荐)3.2 cardinality(不推荐)3.3 track_total_hits(推荐) 一. 问题描述 开发环境: JDK1.8、Elasticsearch7.3.1、RestHighLevelClient 问题: 最近在通过Java客户端操作ES进行分页查询(from+size)时，需要返回满足条件的数据总数。我发现满足条件的数据总数一旦超过10000条，使用SearchResponse的g
ElasticSearch 10000条查询数量限制
程序员青菜学厨记
09-30 3932
我们将库存快照数据导入ES后发现要分页查询10000条以后的记录会报错，这是因为ES通过index.max_result_window这个参数控制能够获取数据总数from+size最大值，默认限制是10000条，因为ES考虑到数据要从其它节点上报到协调节点如果搜索请求的数据越多，会导致ES协调节点占用的堆内存和搜索排序时间越大，但是我们又有这样的需求，虽然页面展示不需要翻到10000条记录后，但在导出XLS是需要将20万条数据一次性导出，本文介绍如何实现。它们分页的组件如下，从产品层面避免了深度分页。
解决springboot 2.0集成elasticsearch 7.6.2 查询总数为10000
m0_67391870的博客
08-30 1054
据查询相关资料，在elasticsearch 7.x以后的版本，当查询的结果总数大于1万时，默认total返回总数为10000。在kibana获取真实总数，只需要加添加 track_total_hits 参数。在springboot项目中，增加配置。小伙伴们，你们好，我是老寇。...
最新版windows elasticsearch-8.1.1-windows-x86_64.zip
03-24
Elasticsearch是一个高度可扩展的开源全文搜索引擎，广泛应用于数据搜索、分析和实时监控场景。在Windows平台上，Elasticsearch的最新版本为8.1.1，专为64位操作系统设计。这个压缩包“elasticsearch-8.1.1-windows-...
elasticsearch-7.9.0-linux-x86_64.rar
08-31
Elasticsearch通常与Logstash（数据收集和预处理）、Kibana（数据可视化）和Beats（轻量级数据发送者）一起使用，形成所谓的"Elastic Stack"，提供完整的日志管理和分析解决方案。 10. **最佳实践**： - 数据分片...
最新版linux elasticsearch-8.1.3-linux-x86_64.tar.gz
04-22
Elasticsearch是一个开源的全文搜索引擎，它以其高效、可...总之，Elasticsearch是一个强大的搜索和分析引擎，通过理解其核心概念、配置方法、API使用以及分布式特性，可以充分利用其功能来构建高性能的搜索解决方案。
01-微盟 Elasticsearch 运维实践
12-22
【微盟 Elasticsearch 运维实践】深入探讨了在企业级应用中如何高效、稳定地运行 Elasticsearch，这在数据检索、大数据分析及日志处理中扮演着关键角色。微盟作为使用者，分享了他们在运维过程中积累的经验和建议。 ...
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
01-08
- 数据表的扩展性：与关系型数据库的逻辑视图和分析型数据库的物化视图不同，Elasticsearch的宽表设计不受字段数量的严格限制。 - 核心原理：Elasticsearch通过倒排索引和多维树文档查询提供高效检索。倒排索引...
Elasticsearch只能查询1万条数据问题
qq_41883461的博客
02-04 1986
快速解决Elasticsearch只能查询1万条数据问题 我们查询超过1万条数据，大多数是为了查询它的数量，所以我们的思路有问题，我们直接通过es的统计数量函数就可以了，具体做法如下： httP://localhost:9022/index/_count _count不管有多少数量都可以查询出来 就不必像其他的做法一样修改索引的最大查询数量 我是时生，一个正在努力的小白。欢迎批评，欢迎指正，欢迎共享 ...
ElasticSearch查询大于10000条的数据
m0_67400973的博客
09-06 789
在使用es进行数据查询时，由于es官方默认限制了索引一次性最多只能查询10000条数据，查询第10001条数据开始就会报错，方案2：修改集群配置config/elasticsearch.yml 文件。如果是使用kibana等工具的dsl语句，可以参考下面编写。_all表示所有索引，针对单个索引的话修改成索引名称即可。方案1：在设置索引属性时解除索引最大查询数的限制。GET 索引名/_search。注： 部分概念介绍来源于网络。方案3：在创建索引的时候加上。
Elasticsearch-sql针对groupby 聚合查询limit问题
weixin_30532837的博客
08-07 601
在使用Elasticsearch-sql插件查询ES中，我们经常遇到多个字段group by聚合查询，例如： select /*! IGNORE_UNAVAILABLE */ SUM(errorCount) as num from ctbpm-js-data-2018-w32,ctbpm-js-data-2018-w27,ctbpm-js-data-2018-w28, ctbpm...
关于Elasticsearch（es）中使用sql返回结果只有1000条
m0_67392931的博客
08-28 1471
意思就是说：“批量大小太大，大小必须小于或等于:[20000]但为[50000]。通过Max_result_window索引级别设置。通过设置了max_result_window为20000 ，所以这边fetch_size为10000 那么在es的返回结果里就有10000条数据。2、查询的时候加上fetch_size 这表示页面上显示的数量。max_result_window表示结果的最大数量。1、设置max_result_window的大小。但是你这样设置完了之后，查询依旧还是1000条。...
elasticsearch 查询结果最大默认10000
wjavadog的博客
09-04 6990
elasticsearch 查询结果默认最大是 10000 可以通过 index.max_result_window 参数进行修改 https://www.elastic.co/guide/en/elasticsearch/reference/6.7/index-modules.html index.max_result_window The maximum value of from + si...
Elasticsearch分页搜索数量不能超过10000的解决This limit can be set by changing the [index.max_result_window] index
chenthe1的专栏
10-26 1766
统计数量推荐：track_total_hits设置为true时，搜索响应将始终跟踪与查询精确匹配的命中数(例如，当track_total_hits设置为true时，total.relation将始终等于“eq”)。如何查询精确的数据总数呢？其中，“distinct_id"是我为聚合函数随便起的名称，可以任意指定，”_id"是希望进行分组统计的字段名称。当然，如果你觉得文章有什么让你觉得不合理、或者有更简单的实现方法又或者有理解不来的地方，希望你在看到之后能够在评论里指出来，我会在看到之后尽快的回复你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值