java实现es的search after查询（三种方式详解）

Roue治愈者ヅ聶

已于 2022-11-17 14:59:18 修改

阅读量1.3w

点赞数 10

分类专栏： es 文章标签： java elasticsearch es 大数据

于 2022-03-17 15:30:23 首次发布

本文链接：https://blog.csdn.net/m0_50008952/article/details/123532395

版权

es 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

一、概念说明

1、form size查询

"浅"分页可以理解为简单意义上的分页。它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。

其中，from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。

性能上：越往后的分页，执行的效率越低。总体上会随着from的增加，消耗时间也会增加。而且数据量越大，就越明显！

注意：因为es是基于分片的，假设有5个分片，from=100，size=10。则会根据排序规则从5个分片中各取回110条数据，然后汇总成550条数据，最后选择第100条后面的10条数据返回给客户端。

2、scroll深分页

from+size查询在10000-50000条数据（1000到5000页）以内的时候还是可以的，但是如果数据过多的话，就会出现深分页问题。

scroll，就是为解决深分页问题，而出现，scroll查询每次只能获取一页的内容，然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容，直到数据读取完毕或者scroll_id保留时间截止，所以scroll并不适用于有跳页的情景。

注意：请求的接口不再使用索引名了，而是 _search/scroll，其中GET和POST方法都可以使用。

根据官方文档的说法，scroll的搜索上下文会在scroll的保留时间截止后自动清除，但是我们知道scroll是非常消耗资源的，所以一个建议就是当不需要了scroll数据的时候，尽可能快的把scroll_id显式删除掉。

清除指定的scroll_id：

DELETE _search/scroll/scroll编号

清除所有的scroll：

DELETE _search/scroll/_all

3、search after深分页

scroll 的方式，官方的建议不用于实时的请求（一般用于数据导出），因为每一个 scroll_id 不仅会占用大量的资源，而且会生成历史快照，对于数据的变更不会反映到快照上。

search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置，同时在分页请求的过程中，如果有索引数据的增删改查，这些变更也会实时的反映到游标上。但是需要注意，因为每一页的数据依赖于上一页最后一条数据，所以无法跳页请求。

为了找到每一页最后一条数据，每个文档必须有一个全局唯一值，官方推荐使用 _uid 作为全局唯一值，其实使用业务层的 id 也可以。

二、curl命令操作

1、form size

GET test_dev/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"age": "24"
}
}
],
"must_not": [],
"should": []
}
},
"from": 0,
"size": 3,

"track_total_hits":true,
"sort": [],
"aggs": {}
}

2、scroll

GET test_dev/_search?scroll=5m
{
"query": {
"bool": {
"must": [
{
"match": {
"age": "24"
}
}
],
"must_not": [],
"should": []
}
},
"size": 10,
"from": 0
}

参数说明：

scroll=5m表示设置scroll_id保留5分钟可用。
scroll查询时from必须为0。
size决定后面每次调用_search搜索返回数据的数量

GET _search/scroll

{

"scroll_id": "**************",

"scroll": "5m"

}

3、search after

GET test/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"age": "24"
}
}
],
"must_not": [],
"should": []
}
},
"from": 0,
"size": 20,
"sort": [
"_id": {
"order": "desc"
}
}
]
}

参数说明：

使用search_after必须要设置from=0。
这里我使用timestamp和_id作为唯一值排序。
我们在返回的最后一条数据里拿到sort属性的值传入到search_after。

往后的每次访问都携带上一次返回数据的最后一条的sort编号。

GET test/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"age": "24"
}
}
],
"must_not": [],
"should": []
}
},
"size": 10,
"from": 0,
"search_after": [
"b90cd1e6cbe7429d105dff4b2e516c62"
],
"sort": [
"_id": {
"order": "desc"
}
}
]
}

三、代码实现

1、form size

太简单，此处省略10000字。

该代码加上后，可以让返回值的条数，跨越9999的限制。

searchSourceBuilder .trackTotalHits(true);

2、scroll

劳烦大驾，请移步到以下：

Java实现es的scroll滚动查询_聶小白的博客-CSDN博客_es java 滚动查询public void selectData() throws IOException { int i=1,size=2; SearchRequest searchRequest = new SearchRequest("index"); Scroll scroll = new Scroll(TimeValue.timeValueMinutes(5L)); searchRequest.scroll(scroll); S...https://blog.csdn.net/m0_50008952/article/details/121633350

3、search after

//第一次请求获取数据
@Test
public void test01() throws IOException {
    SearchRequest searchRequest = new SearchRequest();
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    TermQueryBuilder queryBuilder = QueryBuilders.termQuery("age", 24);
    searchRequest.indices("person");
    searchSourceBuilder.query(queryBuilder).sort("id",SortOrder.ASC);
    searchSourceBuilder.from(0).size(3);
    searchRequest.source(searchSourceBuilder);
    SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
    //处理数据获取最后一条的sortid
    SearchHit[] hits = searchResponse.getHits().getHits();
    Object[] sortValues1 = hits[hits.length - 1].getSortValues();
    System.out.println("最后一条数据sort_id为："+Arrays.toString(sortValues1));
    for (SearchHit hit : searchResponse.getHits().getHits()) {
        Object[] sortValues = hit.getSortValues();
        System.out.println(Arrays.toString(sortValues));
        System.out.println(hit.getSourceAsString());
    }
}


代码执行返回值：
最后一条数据sort_id为：[14]
[7]
{"nama":"牛二","age":"24","id":7}
[13]
{"nama":"李彬","age":"24","id":13}
[14]
{"nama":"菠萝","age":"24","id":14}


//往后的每次请求都携带上一次的sort_id进行访问。
@Test
public void test02() throws IOException {
    TermQueryBuilder queryBuilder = QueryBuilders.termQuery("age", 24);
    Object[] objects= new Object[]{"14"};
    //第二次请求，携带sortid进行查询。
    SearchRequest searchRequest = new SearchRequest();
    searchRequest.indices("person");
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    searchSourceBuilder.query(queryBuilder).sort("id",SortOrder.ASC).searchAfter(objects);
    searchSourceBuilder.from(0).size(3);
    searchRequest.source(searchSourceBuilder);
    SearchResponse search = client.search(searchRequest, RequestOptions.DEFAULT);
    for (SearchHit hit : search.getHits().getHits()) {
        System.out.println(Arrays.toString(hit.getSortValues()));
    }
}