ES实战-result window is too large

当ES分页查询的from+size超过10000时,会出现错误。解决方案包括调整max_result_window参数(有风险,可能导致OOM)、使用search_after查询(向后搜索,不支持向前)以及scroll查询(性能消耗大,官方不推荐)。文章详细分析了三种方案的优缺点和适用场景。
摘要由CSDN通过智能技术生成

场景

做分页查询,当分页达到一定量的时候,报如下错误:

Result window is too large, from + size must be less than or equal to: [10000] but was [78020]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.

原因分析: es对from + size的大小进行限制,必须小于等于10000。

解决方案:

方案一(有风险)

将max_result_window参数阈值调大,在业务中限制分页大小,使from+size<=10000;
具体操作

改法一:

动态更改索引设置,为max_result_window参数赋值足够大的值,此处改法有两种,具体如下:
基于特定索引生效:

PUT <index_name>/_settings
{
  "index.max_result_window": <number>
} 

基于全局生效配置:

PUT _all/_settings
{
  "index.max_result_window": <number>
}
改法二:

修改配置文件elasticsearch.yml,增加下列配置,并重启elasticsearch。

index.max_result_window: 100000000

其中改法一只当前有效,elasticsearch重启失效,改法二重启后生效。
PS:这种改法的确能解决眼前问题(网上教程普遍做法),但是会带来严重的后果,得结合业务去考虑,如果你的业务索引库存储数据量大,即单个文档字段多࿰

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值