Elasticsearch(ES) - 搜索结果限制10000条原因与解决方案 - 学习实践

最新推荐文章于 2024-05-07 15:45:55 发布
最新推荐文章于 2024-05-07 15:45:55 发布
阅读量1.3k 收藏
点赞数
分类专栏： java 文章标签： elasticsearch 学习 搜索引擎 java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402914/article/details/126581501
版权

1.应用场景

主要用于使用ES做搜索时，出现搜索结果大于10000条时，返回的hits为10000

了解其中的原理以及应对方案。

2.学习/操作

1.文档阅读

Elasticsearch：如何在搜索时得到精确的总 hits 数 - movih - 博客园

https://github.com/elastic/elasticsearch/issues/33028

Count API | Elasticsearch Guide [7.15] | Elastic

Elasticsearch解决只能查询10000条数据方案_风起～的博客-CSDN博客_es只能查询10000条

2.整理输出

TBD

简单说，ES默认返回的hits value为10000， 如果满足条件的结果超过10000.

是可以修改配置，但是不推荐修改，因为有灰性能损耗，至于损耗多少，什么程度，这里暂时不清楚，还需要继续查看文档以及做实验，甚至是在生产环境中得到具体的数据支持。

分析性能损耗，应该从理论分析与实践分析，理论与实践缺一都是不完整的。

Note

因为个人开发时，这个需求，刚好可以用另外一种方式去实现，另外一种表中有记录总数，所以就不再通过ES来获取，但是这种情况是特殊情况。不过其实也可以参考这种方式，记录下，总数，如果权衡之下，未必不可。

后续补充

…

3.问题/补充

TBD

4.参考

Elasticsearch：如何在搜索时得到精确的总 hits 数 - movih - 博客园

https://github.com/elastic/elasticsearch/issues/33028

Count API | Elasticsearch Guide [7.15] | Elastic

Elasticsearch解决只能查询10000条数据方案_风起～的博客-CSDN博客_es只能查询10000条

后续补充

…

用户昵称23
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch输出默认限制最多一万条记录
qq_44066412的博客
11-19 4221
关于elasticsearch输出默认限制最多一万条记录的问题 现象: ES默认返回数据量为10000条，当分页的from超过10000条的时候，es就会如下报错：Result window is too large, from + size must be less than or equal to:[10000] but was 原因： 当索引非常非常大(千万或亿)，是无法按照from + size做深分页的，因为分页越深则越容易OOM，即便不OOM，也是很消耗CPU和内存资源的。官方在后2.x版本中已
最新版windows elasticsearch-8.1.1-windows-x86_64.zip
03-24
Elasticsearch是一个高度可扩展的开源全文搜索引擎，广泛应用于数据搜索、分析和实时监控场景。在Windows平台上，Elasticsearch的最新版本为8.1.1，专为64位操作系统设计。这个压缩包“elasticsearch-8.1.1-windows-...
ES查询时只能查询10000条数据解决方案
IT之一小佬的博客
09-10 1万+
ES查询时只能查询10000条数据解决方案
【ElasticSearch】ES分页查询超过10000限制解决_elasticsearch 分页上限
最新发布
2401_84790619的博客
05-07 901
得知这个情况，我是很震惊的，因为对ES还没有全面学习（也可以说一点都没有 bushi）。富贵儿：也就是说，目前使用ES查询，没办法查10000以后的数据，我可以这么理解不？富贵儿：emmmm因为我不了解哦，先确认下，就是我们这里调用要改。富贵儿：刚刚就有人查了，线上报错了，才发现了这个问题。富贵儿：你们没有超过10000的分页需求？富贵儿：拼装查询参数这里，要改一下是吧。大佬：是啊，只能查前10000条。富贵儿：为啥，我这边现在就遇到了。
es解决只能查询10000条数据方案
热门推荐
congge
10-20 3万+
引言 在使用es进行数据查询时，由于es官方默认限制了索引一次性最多只能查询10000条数据，查询第10001条数据开始就会报错， 错误的内容大致为：Result window is too large, from + size must be less than or equal to 通常，见到的一些网站的做法有： 限制分页的最大页数，比如为100页，参见某东网站查询某品类的商品时的分页交互 如果es中保存的数据不那么重要，如日志数据，可以考虑定期删除日志，维持数据量小于1万 但是在更多的场景下，我
Elasticsearch 搜索数量不能超过10000的解决方案
爱喝咖啡的程序员的博客
07-29 1万+
目录一. 问题描述二. 问题分析三. 解决方案3.1 调大index.max_result_window(不推荐)3.2 cardinality(不推荐)3.3 track_total_hits(推荐) 一. 问题描述 开发环境: JDK1.8、Elasticsearch7.3.1、RestHighLevelClient 问题: 最近在通过Java客户端操作ES进行分页查询(from+size)时，需要返回满足条件的数据总数。我发现满足条件的数据总数一旦超过10000条，使用SearchResponse的g
ElasticSearch 10000条查询数量限制
程序员青菜学厨记
09-30 3942
我们将库存快照数据导入ES后发现要分页查询10000条以后的记录会报错，这是因为ES通过index.max_result_window这个参数控制能够获取数据总数from+size最大值，默认限制是10000条，因为ES考虑到数据要从其它节点上报到协调节点如果搜索请求的数据越多，会导致ES协调节点占用的堆内存和搜索排序时间越大，但是我们又有这样的需求，虽然页面展示不需要翻到10000条记录后，但在导出XLS是需要将20万条数据一次性导出，本文介绍如何实现。它们分页的组件如下，从产品层面避免了深度分页。
java处理ES查询突破10000条的限制方案
CuiGongZi的博客
09-22 1533
【代码】java处理ES查询突破10000条的限制方案。
最新版linux elasticsearch-8.1.3-linux-x86_64.tar.gz
04-22
Elasticsearch是一个开源的全文搜索引擎，它以其高效、可...总之，Elasticsearch是一个强大的搜索和分析引擎，通过理解其核心概念、配置方法、API使用以及分布式特性，可以充分利用其功能来构建高性能的搜索解决方案。
elasticsearch-7.9.0-linux-x86_64.rar
08-31
Elasticsearch通常与Logstash（数据收集和预处理）、Kibana（数据可视化）和Beats（轻量级数据发送者）一起使用，形成所谓的"Elastic Stack"，提供完整的日志管理和分析解决方案。 10. **最佳实践**： - 数据分片...
01-微盟 Elasticsearch 运维实践
12-22
【微盟 Elasticsearch 运维实践】深入探讨了在企业级应用中如何高效、稳定地运行 Elasticsearch，这在数据检索、大数据分析及日志处理中扮演着关键角色。微盟作为使用者，分享了他们在运维过程中积累的经验和建议。 ...
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
01-08
- 数据表的扩展性：与关系型数据库的逻辑视图和分析型数据库的物化视图不同，Elasticsearch的宽表设计不受字段数量的严格限制。 - 核心原理：Elasticsearch通过倒排索引和多维树文档查询提供高效检索。倒排索引...
Elasticsearch查询10000条限制解决方案
Black794的博客
10-31 3778
如果您的搜索结果超过了 max_result_window 的值，那么 Elasticsearch 将会返回一个错误，提示您使用 scroll API 或者增加 max_result_window 的值来处理这个问题。这意味着，如果您执行一个搜索请求，请求的结果超过了 10000 条记录，那么只会返回前 10000 条记录，并且 Elasticsearch 会在响应中包含一个 hits.total 字段，该字段表示总共匹配了多少条记录。search_after查询。
解决ES只能查询10000条数据的问题
骑着蜗牛向前跑的博客
04-08 1万+
这篇文章是翻译过来的，原文在此，需要科学上网。 当查询页很深或者查询的数据量很大时，深查询就会出现。es 的自我保护机制允许的一次最大查询量是 10000 条数据。在请求中加入trackTotalHits(true) 可以解除10000条的上限。 SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder().trackTotalHits(true); 三种批量查询 from size 这种实现方式有点类似于 MySQL 中的 l.
ES查询解除只查询一万条数据的限制
u014250663的博客
11-17 2290
elasticsearch默认输出最多一万条 查询第10001条数据开始就会报错：Result window is too large, from + size must be less than or equal to 但是很多时候10000数据不能满足项目的需求，所以我们就要解除这个限制。 searchSourceBuilder.trackTotalHits(true); try { RestHighLevelClient client = ESUtil.getRest
解决springboot 2.0集成elasticsearch 7.6.2 查询总数为10000
m0_67391870的博客
08-30 1054
据查询相关资料，在elasticsearch 7.x以后的版本，当查询的结果总数大于1万时，默认total返回总数为10000。在kibana获取真实总数，只需要加添加 track_total_hits 参数。在springboot项目中，增加配置。小伙伴们，你们好，我是老寇。...
Elasticsearch解决只能查询10000条数据方案
weixin_39641746的博客
10-12 1万+
es官方默认限制索引查询最多只能查询10000条数据，查询第10001条数据开始就会报错，Result window is too large, from + size must be less than or equal to 但是很多时候10000数据不能满足项目的需求。 解决方案： 第一种办法.在kibana中执行,解除索引最大查询数的限制 put _all/_settings { “in...
【项目经验】解决ES查询只能查一万条数据问题
九离的博客
04-07 2084
【项目经验】解决ES查询只能查一万条数据问题 一、问题背景 在使用es写日志系统的时候发现es只能获取一万条日志数据, 而实际有38万多条. 使用的分页查询工具是es自带的PageRequest Query query = new CriteriaQuery(criteria); query.setTrackTotalHits(true); //先根据criteria条件中的from和to 筛选出时间范围内的数据,然后根据日期降序, query.setPagea
[转载]ES只能查询前10000条数据的正确解决方案
thekenofDIS的专栏
09-01 535
1、问题现象描述2、错误的解决方案2.1 使用max_result_window的错误解决方案网上你能搜到的大部分解决方法都是让你把max_result_window参数阈值调大。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值