搜索elasticsearch的数据条数大于10000的情况解决

最新推荐文章于 2024-07-12 12:16:53 发布
最新推荐文章于 2024-07-12 12:16:53 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： 大数据技术 文章标签： elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mini_snow/article/details/114501134
版权

友情关注：2021年底即将推出我们墨飞鱼团队历时大半年研发的灵感写作平台，在墨飞鱼这里希望能帮助更多人找到阅读与写作的乐趣, 敬请收藏了解，12月底见哦~

默认情况下当用elasticsearch进行深度分页查询时的size-from大于10000的时候，就会报错“”

### kibana里执行
PUT /us_tm_info_v1/_settings
{
  "index.max_result_window": "20000"
}

第二种方式
在config/elasticsearch.yml文件中的最后加上

index.max_result_window: 100000000

这种方法要注意在最前面加上空格

声明：文章由作者本人的亲历及经验总结，属个人原创文章，欢迎转载并注明出处，个博原文的链接地址见：
https://tech.limuqiao.com/archives/41.html

碧海饮冰
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Elasticsearch 使用java分页查询条数超过1w的解决办法 -scroll_id方式
ssdlleave的专栏
05-29 3011
1.需求：查询es近3个月数据取出并进行重新推送。 问题：原使用java分页查询es。可是到1w条数据后就会自动停止无法查询1w之后的数据。 原查询方法： /** * @description: 查询轨迹信息 * @param billTraceSearchVo * @param page * @date: 2020/5/28 15:06 * @author: ss * @return: java.util.List<cn.uce.core.elasticse...
ElasticSearch查询超过10000条（1000页）时出现Result window is too large的问题
qq_31024823的博客
06-04 1697
问题描述: 我用from&size的方法进行分页查询，每次超过10000条的时候就会报错: （’Result window is too large, from + size must be less than or equal to: [10000] but was [10100]. See the scroll api for a more efficient way to r...
Elasticsearch from+size 超过10000结果解决方法
热门推荐
星辉Johnson的博客
12-06 4万+
方法一： 如果需要搜索分页，可以通过from size组合来进行。from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10，  如果搜索size大于10000，需要设置index.max_result_window参数  注意：size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。  PUT _se
【ElasticSearch】ES分页查询超过10000限制解决
一气道盟王富贵儿
03-26 1万+
解决 Elasticsearch 超过 10000 条无法查询的问题
关于搜索elasticsearch的数据条数大于10000的坑 max_result_window的解决方案
feifeichongtian的博客
07-28 1343
关于这个问题我主要从5.6.x版本和7.10.x版本分析： 5.6.x版本：只需要一步即可 { "settings": { "index": { "number_of_shards": "1", "max_result_window": "1000000", "analysis": { "analyzer": { "keep_none_chinese_in_joined_full_p
分页查询大于一万条报错——elasticsearch
qq_26915707的博客
04-10 3570
当用elasticsearch进行深度分页查询时的size-from大于10000的时候，就会报错“”， 官方推荐是scroll查询返回结果是无序的不满足业务需求,所以还是通过设置最大返回结果数来达到我们的目的 然后我们可以通过以下方法设置： 第一种：curl -XPUT http://127.0.0.1:9200/_settings -d '{ "index" : { "max_resul...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
在整合MySQL和Elasticsearch的过程中，常常会遇到数据同步不一致的问题，这主要是由于数据库的更新、删除操作未被及时反映到搜索引擎中导致的。针对这种情况，我们可以采取一系列策略来解决这种不对称问题。 首先，...
python批量从es取数据的方法(文档数超过10000)
09-19
在Python中，从Elasticsearch（ES）批量获取超过10000条数据是一项常见的任务，特别是当处理大量实时或历史数据时。Elasticsearch提供了API，使得开发者能够方便地与这个分布式搜索引擎进行交互。以下是一些关于如何...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
ElasticSearch数据导出
04-30
ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件
Elasticsearch from+size 超过10000结果解决方案(V 2.x)
09-26 503
方法一： PUT _settings { "index": { "max_result_window": "10000000" } } 方式二： 使用 scroll 代替，官方推荐方式。 优缺点： 方式一，当结果足够大的时候，会大大加大内存...
elasticsearch(7) : 创建mapping及突破一万行
Lxinccode的博客
12-14 1439
max_result_window 为查询返回最大行数上限 deviceId --> 字段名 type:keyword --> 精确查找 curl -H "Content-Type:application/json" -XPUT http://127.0.0.1:9200/test_index_2021_12_16 -d \ ' { "mappings":{ "properties":{ "deviceId":{ ..
【解决方法】ES分页查询时出现：Result window is too large, from + size must be less than or equal to: [10000] but..
Rbin的博客
08-17 6599
问题：Elasticsearch使用from和size实现分页查询时，数据量大于10000会报错： 我这里的数据量是达到了两万多。 原因：Elasticsearch默认对from+size的最大值进行了限制，为10000。 解决方法：这里给出两种解决方法。 第一种：修改Elasticsearch限制的默认最大值。（不推荐：在数据量大时，使用from+size方法查询性能会下降，对CPU和内存的消耗会非常巨大） PUT { 索引名 }/_settings { "index":{ .
Elasticsearch 搜索数量不能超过10000的解决方案
爱喝咖啡的程序员的博客
07-29 1万+
目录一. 问题描述二. 问题分析三. 解决方案3.1 调大index.max_result_window(不推荐)3.2 cardinality(不推荐)3.3 track_total_hits(推荐) 一. 问题描述 开发环境: JDK1.8、Elasticsearch7.3.1、RestHighLevelClient 问题: 最近在通过Java客户端操作ES进行分页查询(from+size)时，需要返回满足条件的数据总数。我发现满足条件的数据总数一旦超过10000条，使用SearchResponse的g
Elasticsearch分页查询超过10000就报错
weixin_45371233的博客
02-13 968
Elasticsearch分页查询超过10000就报错问题原因及解决办法
elasticsearch 查询超10000的解决方案
最新发布
苍煜
07-12 906
scroll查询的相应数据是非实时的，如果遍历过程中插入新的数据，是查询不到的。并且保留上下文需要足够的堆内存空间。相比于 from/size 和 search_after 返回一页数据，Scroll API 可用于从单个搜索请求中检索大量结果。但是 scroll 滚动遍历查询是非实时的，数据量大的时候，响应时间可能会比较长适用场景全量或数据量很大时遍历结果数据，而非分页查询。scroll方案基于快照，不能用在高实时性的场景下，建议用在类似数据导出场景下使用。
elasticsearch分页查询时最高只能查前10000条
weixin_45826787的博客
12-27 1606
解决办法： 1、在查询语句中增加一个字段：“track_total_hits”: true （能解决） //查结果列表同时获取总数，用_search，加上track_total_hits=true //仅获取总数，使用_count （无需加track_total_hits=true） POST /test_index/_search //(_count) { //在“query”前加上，可以分页查询10000之后的数据 "track_total_hits":true, "query": {
关于搜索elasticsearch的数据条数大于10000的坑 max_result_window的两种设置方式
06-08
当使用Elasticsearch搜索大量数据时，可能会遇到默认最大结果窗口大小为10000的限制。这意味着一旦超过10000个结果，Elasticsearch将不会返回任何其他结果。 为了解决这个问题，你可以通过以下两种方式来设置max_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值