ES报错“Result window is too large”参悟大数据思维

最新推荐文章于 2024-08-17 16:59:53 发布

king_eagle2015

最新推荐文章于 2024-08-17 16:59:53 发布

阅读量1k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/whp15369657805/article/details/78729672

版权

hadoop 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

ES在数据搜索上提供了强大支持，但其耗费内存代价也是巨大的。因为第一次使用ElasticSearch，在做分页的时候没有注意，分页插件显示了最后一页，今天做压测，单台es的数据达到2亿数据，每页显示20条的情况下需要500万页。

直接点第500万页的时候出现了“Result window is too large”报错，搜索一下网络，原来ES设置了默认最大窗口数量index.max_result_window为10000，完全是为了提高搜索速度，有些解决方法直接加大该参数值：

curl -XPUT http://localhost:9200/indexName/_settings -d '{ "index" : { "max_result_window" : 10000000}}'

但随着系统数量逐渐增加，该问题任然会出现，ES之所以作为强大的数据搜索引擎，主打功能在于其搜索能力，并不是为了查询所有数据列表，查看了一下百度的分页显示也是如此，第一次只显示10页，点击下一页的时候显示接下来的4页，列表的排序是按照ES的评分机制来的，评分高的优先显示，是而不会将所有数据页显示，这样就能够满足用户需求，想象一下，基本不会有一个用户会点到数据的最后一页的。