Elasticsearch 使用java分页查询条数超过1w的解决办法 -search_after方式

最新推荐文章于 2024-08-13 06:38:16 发布

Hisboom

最新推荐文章于 2024-08-13 06:38:16 发布

阅读量3.4k

点赞数

分类专栏： es java Spring boot 文章标签： es

本文链接：https://blog.csdn.net/ssdlleave/article/details/110393827

版权

针对每隔5分钟从Elasticsearch取数据推送的场景，当使用Java进行分页查询超过1w条数据时，原始方法导致数据丢失。本文提出使用`search_after`策略，通过设置排序字段解决此问题。首次查询无需设置`searchAfter`，后续查询根据上一次查询结果的最后一条记录的排序值进行。测试结果显示能成功获取并推送超过1w条数据。

摘要由CSDN通过智能技术生成

1.需求：job跑批每隔5分钟查询es数据取出并进行推送。

问题：原使用java分页查询es。当大于1w时无法取出后续数据造成了数据丢失。使用scroll_id查询性能消耗太大不适应此场景.

es调用测试：

获取第一次查询结果后设置sort，

查询首条数据为

转换成java实现方式如下：

BillTraceElasticSearchRepository

findInfoDocByScroll

 public Map<Object[],List<BillTraceElasticSearchDocument>> findInfoDocByScroll(BillTraceSearchVo billTraceSearchVo,Object[] sort) {
        List<BillTraceElasticSearchDocument> result = new ArrayList<>();
        Map<Object[],List<BillTraceElasticSearchDocument>> resultInfo=new HashMap<>();
        try {
            if(null == billTraceSearchVo){
                return null;
            }
            //查询请求对象
            SearchRequestBuilder srb = baseQuery(BillTraceElasticSearchDocument.class);
            //查询条件
            BoolQueryBuilder bqb = QueryBuilders.boolQuery();
            // 添加时间范围查询
            if(null != billTraceSearchVo.getStartTime()
                    && null != billTraceSearchVo.getEndTime()
                    && billTraceSearchVo.getEndTime() > billTraceSearchVo.getStartTime()){