elasticsearch7.2深度分页实现 -- 查询全部数据

最新推荐文章于 2024-07-24 11:10:05 发布

常识的Blog

最新推荐文章于 2024-07-24 11:10:05 发布

阅读量1.3k

点赞数

文章标签： java 开发语言

本文链接：https://blog.csdn.net/weixin_39098944/article/details/125807729

版权

本文介绍了如何在Elasticsearch7.2中实现深度分页，特别适用于需要导出全部数据的场景。关键在于查询时不包含from和to参数，以避免传统分页导致的问题。

摘要由CSDN通过智能技术生成

用过es的朋友应该都了解es的分页模式总共有两种，一种是from,size模式，也就是常说的浅分页，这种分页模式使用起来很简单，和mysql的十分类似，但是这种方式的最大弊端是，在集群模式下，如果查询的分页数很深，很容易造成查询效率极慢甚至内存的异出的问题，解决这个问题就要提到深分页，深分页的大概思路是每一页查询会给你返回一个scrollId，类似于一个游标，记录本次查询的位置，下次使用这个有游标再去查下一页的数据，所有不会出现跨度大，查询数据多导致溢出的问题，但是它也有一个弊端就是不支持跳页。还有就是es默认的查询（也就是不加from,size）是会返回第一页10条数据，而我最近正在使用es做一个导出的功能，那么很明显默认返回一页的数据不是很友好，所有正好使用深分页可以解决。废话少说，上代码，先说下from,size的方法，这里都是使用HighLevelRestClient实现的。

// comprehensiveQueryEventVO是我封装的一个查询条件实体对象，这里是封装查询条件
private SearchSourceBuilder getSearchSourceBuilder(ComprehensiveQueryEventVO comprehensiveQueryEventVO){
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        if (comprehensiveQueryEventVO.getPageNum() != null && comprehensiveQueryEventVO.getPageSize() != null) {
            sourceBuilder.f