ElasticsearchTemplate中使用Scroll_after
一、es分页有几种方式?
1.from + size 浅分页。
2.scroll 深分页
3.search_after 深分页
from+size查询在10000-50000条数据(1000到5000页)以内的时候还是可以的,但是如果数据过多的话,就会出现深分页问题。
为了解决上面的问题,elasticsearch提出了一个scroll滚动的方式。
scroll 类似于sql中的cursor,使用scroll,每次只能获取一页的内容,然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容,所以scroll并不适用于有跳页的情景。
官方的建议不用于实时的请求(一般用于数据导出),因为每一个 scroll_id 不仅会占用大量的资源,而且会生成历史快照,对于数据的变更不会反映到快照上。
search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。但是需要注意,因为每一页的数据依赖于上一页最后一条数据,所以无法跳页请求。
为了找到每一页最后一条数据,每个文档必须有一个全局唯一值,官方推荐使用 _uid 作为全局唯一值,其实使用业务层的 id 也可以。
二、使用示例
Client client = elasticsearchTemplate.getClient();
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

本文介绍了Elasticsearch中解决深分页问题的策略,包括from + size、scroll和search_after。强调了search_after的优势在于能应对数据变更,并提供了使用示例,指出在使用search_after时需记录每页最后的全局唯一值,如_uid或业务id,以实现分页导航。
最低0.47元/天 解锁文章

539

被折叠的 条评论
为什么被折叠?



