ElasticSearch的scroll滚动查询以及在Springboot中的使用

最新推荐文章于 2025-03-17 23:05:51 发布

ming_yeye

最新推荐文章于 2025-03-17 23:05:51 发布

阅读量5.7k

点赞数 7

文章标签： elasticsearch 大数据搜索引擎 spring boot

本文链接：https://blog.csdn.net/ming_yeye/article/details/128183831

版权

什么是es中的scroll？

scroll即滚动查询，我们知道，es中在进行普通的查询时，默认只会查询出来10条数据。我们通过设置es中的size可以将最终的查询结果从10增加到10000，那么问题来了，当我们需要查询的数据大于10000条怎么办？这时有两种方式解决：深度分页和滚动查询。优先使用滚动查询，因为深度分页越往后查性能越低，极其耗费内存和CPU。

深度分页

分页即使用from和size，如下：

{
    "query": {
        "match_all": {}
    },
    "from": 9990,
    "size": 20
}

像这样就能够获取到9990-10010的20条数据了，但是这样每次都需要将前面的9990条数据查询出来，然后再向下继续寻找后面的20条，最终就会导致搜索很深，即深度分页，性能就会受到极大影响，因此这种方式不推荐使用。

滚动查询

滚动查询，和关系型数据库中的游标有点类似，因此也叫游标查询。也相当于一个快照，它是es中提供的一种查询大数据量的方式。

在dsl语句中，完成一个scroll查询分为两步：

第一步：带有查询条件，根据条件查询。

GET search_account/_search?scroll=1m
{
  "size":1000, 
  "query": {
    "term": {
      "type": {
        "value": "生活"
      }
    }
  }
}

这是一个简单的term查询哈，这个查询条件比较简单，相当于一个示意，关键点两个：

① scroll表示这是一个scroll滚动查询；

② scroll=1m表示查询的结果数据在es服务器中过期时间为1min。

该查询返回的结果如下：

可以看到，返回结果中有一个_scroll_id字段，该字段其实就相当于一个书签，在我们之后的查询中需要带着这个书签，就可以一直往后根据设置的size大小获取数据（前提是在设置的过期时间之内）。

第二步：获取的scroll_id作为查询条件往后查询数据。

GET /_search/scroll/
{
  "scroll":"1m",
  "scroll_id":"DnF1ZXJ5VGhlbkZldGNoBgAAAABtmn3QFnJNSEk2S2FBVENTQ21JR0dtVXZEbFEAAAAAaePcNhZaOGZsVmdlaFRNdVgyYS04dlNhTDJBAAAAAG2afdEWck1ISTZLYUFUQ1NDbUlHR21VdkRsUQAAAABplHFdFkpvME9pZEd1U0pXdVlSc29CYXFkZHcAAAAAamCmqhZVNXRmNFhlNFN5NjZwMHZraE5ndEV3AAAAAGnj3DcWWjhmbFZnZWhUTXVYMmEtOHZTYUwyQQ=="
}

将获取的scroll_id作为条件继续查询即可，不需要再指定索引和类型。因为scroll_id具有唯一性，在过期时间内，之后查询的scroll_id是不变的。

滚动查询在Springboot中的使用

以上说明的是在dsl语句中如何使用scroll，但是既然涉及到大数据量，在dsl中完成就不太可能了，一般都是通过代码的方式进行滚动查询。这里说明一下es中的scroll查询在Springboot中的使用：

环境准备：springboot项目，es依赖，restHighLevelClient客户端配置。（具体配置这里就不赘述了，咱们直接上手）

需求描述：现已经获取了大批账号的uid（20万以上的数据），需要根据这些账号的uid去es中查询账号所属的分类信息。

代码：

public String redoAccountTypeByScroll(List<String> uidList) {
        List<List<RedoAccountTypeVO>> resultList=new ArrayList<>();

        //构造es查询条件。
        SearchRequest searchRequest = new SearchRequest("search_account");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        sourceBuilder.query(QueryBuilders.termsQuery("uid",uidList))
                //设置最多一次能够取出10000条数据，从第10001条数据开始，将开启滚动查询。
                .size(10000)
                .fetchSource(new String[]{"uid","type"},null);
        searchRequest.source(sourceBuilder);
        //设置scroll超时时间(10min)。
        Scroll scroll=new Scroll(TimeValue.timeValueMinutes(10L));
        //放入滚动查询对象。
        searchRequest.scroll(scroll);
        SearchResponse response = restHighLevelClient.search(searchRequest);

        //TODO：这里可以解析response对象，获取前10000条数据，封装实体类对象（属性为uid和type），并构成集合accountTypeVOList。我这里假设已经解析response对象完成，得到了accountTypeVOList集合。
        resultList.add(accountTypeVOList);

        //记录滚动id。
        String scrollId=response.getScrollId();
        //滚动查询部分，将从第10001条数据开始取。
        SearchHit[] scrollHits = response.getHits().getHits();
        while (ObjectUtil.isNotNull(scrollHits) && scrollHits.length > 0 ) {
            //构造滚动查询条件
            SearchScrollRequest searchScrollRequest = new SearchScrollRequest(scrollId);
            searchScrollRequest.scroll(scroll);
            //响应必须是上面的响应对象，需要对上一层进行覆盖。
            response = restHighLevelClient.scroll(searchScrollRequest);
            scrollId = response.getScrollId();
            scrollHits=response.getHits().getHits();

            //TODO：同上面一样，在这个位置可以对滚动查询到的从10001条数据开始的数据进行处理(封装实体类)，构成集合accountTypeVOList（假设我已经构成了集合）。
            resultList.add(accountTypeVOList);
        }

        //TODO：在循环结束后可以遍历resultList这个大集合，来实现我们自己的需求，我这里是获取账号分类（由于我这里需要调用其它项目完成账号分类的获取，代码就不再贴了，感觉冗余。读者需要明白这里是实现自己的业务需求）。
       

        //数据获取完毕后需要清楚滚动，否则影响下次查询。
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
        clearScrollRequest.addScrollId(scrollId);
        ClearScrollResponse clearScrollResponse = restHighLevelClient.clearScroll(clearScrollRequest);
        //清除滚动是否成功
        boolean isSuccess = clearScrollResponse.isSucceeded();
        log.info("=====================>清楚滚动scroll是否成功：{}",isSuccess);
        return "==================>账号分类获取完毕~";
    }

总结：

① 滚动查询是建立在普通查询基础上的。

② 需要注意的是：滚动查询相当于快照，如果在使用scroll进行滚动查询期间有增删改的操作，那么查询结果是获取不到最新的数据的。

③ 深度分页和滚动查询优先使用滚动查询，性能更优，CPU资源耗费更少。

希望对你有所帮助！