【解决方法】ES分页查询时出现:Result window is too large, from + size must be less than or equal to: [10000] but..

问题:Elasticsearch使用from和size实现分页查询时,数据量大于10000会报错:

我这里的数据量是达到了两万多。

原因:Elasticsearch默认对from+size的最大值进行了限制,为10000。

解决方法:这里给出两种解决方法。

第一种:修改Elasticsearch限制的默认最大值。(不推荐:在数据量大时,使用from+size方法查询性能会下降,对CPU和内存的消耗会非常巨大)

PUT { 索引名 }/_settings
{
  "index":{
      "max_result_window":{ 你想要的from+size最大值 }
  }
}

第二种:使用scroll进行查询。(在查询第 y 页时,需要去Elasticsearch中查询 y 次)

①在查询第1页时,设置scroll的有效时间(即此次请求的有效时间),获取scroll_id。

POST { 索引名 }/_search?scroll=1m
{
    "size": 20,
    "query": {
         { 查询条件 }
    }
}

   我这里设置的1分钟。

②将获取到scroll_id进行进行后面页数的查询。(发送请求次数为你想要的页数)

POST /_search/scroll
{
    "scroll" : "1m", { 持续更新scroll_id的有效时间 }
    "scroll_id" : { 第1页查询时返回的scroll_id }
}

③数据查询到上万条后,查询的时间还是得考虑的。如果不考虑排序的话,可以结合scan进行查询,提高查询效率,即在第1页查询的请求参数中添加 search_type=scan 即可。

POST { 索引名 }/_search?search_type=scan&scroll=1m
{
    "size": 20,
    "query": {
         { 查询条件 }
    }
}

 这里贴出Java代码的实现:

// 第1页查询
SearchResponse scrollResp = query
                            .setScroll(new TimeValue(60000))
                            .setSize(pager.getMax())
                            .execute().actionGet();

// 第2页开始
for (int i = 2; i <= pager.getPage(); i++) {
    scrollResp = client
                 .prepareSearchScroll(scrollResp.getScrollId())
                 .setScroll(new TimeValue(60000))
                 .execute().actionGet();
}

 

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
这个问题是由于您请求的结果窗口超过了Elasticsearch的默认限制导致的。解决方法是使用滚动API来请求大数据集,而不是一次性获取所有结果。 下面是使用滚动API来解决这个问题的Java代码示例: ```java import org.elasticsearch.action.search.ClearScrollRequest; import org.elasticsearch.action.search.ClearScrollResponse; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.search.SearchScrollRequest; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.unit.TimeValue; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.Scroll; import org.elasticsearch.search.SearchHit; import org.elasticsearch.search.builder.SearchSourceBuilder; import java.io.IOException; public class ElasticsearchScrollExample { private static final String INDEX_NAME = "your_index_name"; private static final int BATCH_SIZE = 1000; public void scrollSearch(RestHighLevelClient client) throws IOException { // 创建初始搜索请求 SearchRequest searchRequest = new SearchRequest(INDEX_NAME); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(BATCH_SIZE); searchRequest.source(searchSourceBuilder); searchRequest.scroll(TimeValue.timeValueMinutes(1L)); // 执行搜索请求 SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); String scrollId = searchResponse.getScrollId(); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { // 处理搜索结果 for (SearchHit hit : searchHits) { // 处理每个搜索结果 } // 创建滚动请求 SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(TimeValue.timeValueMinutes(1L)); // 执行滚动请求 searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); scrollId = searchResponse.getScrollId(); searchHits = searchResponse.getHits().getHits(); } // 清除滚动上下文 ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT); boolean succeeded = clearScrollResponse.isSucceeded(); } } ``` 以上代码使用了ElasticsearchJava高级客户端来执行滚动搜索。您需要将`your_index_name`替换为您要搜索的索引名称,并根据需要调整`BATCH_SIZE`来设置每次获取的结果数量。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值