Elasticsearch from+size 超过10000结果解决方法

方法一:

如果需要搜索分页,可以通过from size组合来进行。from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10, 
如果搜索size大于10000,需要设置index.max_result_window参数 
注意:size的大小不能超过index.max_result_window这个参数的设置,默认为10,000。 

PUT _settings
{
    "index": {
        "max_result_window": "10000000"
    }
}

方式二:

使用 scroll 代替,官方推荐方式。

优缺点:

方式一,当结果足够大的时候,会大大加大内存和CPU的消耗。使用非常方便。

方式二: 当结果足够大的时候, scroll 性能更加。但是不灵活和 scroll_id 难管理问题存在。

个人测试:当 结果足够大的时候 产生 scroll_id 性能也不低。如果只是一页页按照顺序,scroll是极好的,但是如果是无规则的翻页,那也是性能消耗极大的。



这个问题是由于您请求的结果窗口超过Elasticsearch的默认限制导致的。解决方法是使用滚动API来请求大数据集,而不是一次性获取所有结果。 下面是使用滚动API来解决这个问题的Java代码示例: ```java import org.elasticsearch.action.search.ClearScrollRequest; import org.elasticsearch.action.search.ClearScrollResponse; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.search.SearchScrollRequest; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.unit.TimeValue; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.Scroll; import org.elasticsearch.search.SearchHit; import org.elasticsearch.search.builder.SearchSourceBuilder; import java.io.IOException; public class ElasticsearchScrollExample { private static final String INDEX_NAME = "your_index_name"; private static final int BATCH_SIZE = 1000; public void scrollSearch(RestHighLevelClient client) throws IOException { // 创建初始搜索请求 SearchRequest searchRequest = new SearchRequest(INDEX_NAME); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(BATCH_SIZE); searchRequest.source(searchSourceBuilder); searchRequest.scroll(TimeValue.timeValueMinutes(1L)); // 执行搜索请求 SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); String scrollId = searchResponse.getScrollId(); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { // 处理搜索结果 for (SearchHit hit : searchHits) { // 处理每个搜索结果 } // 创建滚动请求 SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(TimeValue.timeValueMinutes(1L)); // 执行滚动请求 searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); scrollId = searchResponse.getScrollId(); searchHits = searchResponse.getHits().getHits(); } // 清除滚动上下文 ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT); boolean succeeded = clearScrollResponse.isSucceeded(); } } ``` 以上代码使用了Elasticsearch的Java高级客户端来执行滚动搜索。您需要将`your_index_name`替换为您要搜索的索引名称,并根据需要调整`BATCH_SIZE`来设置每次获取的结果数量。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值