7.2 ElasticSearch运行机制之分页与遍历

最新推荐文章于 2024-01-25 15:18:02 发布
最新推荐文章于 2024-01-25 15:18:02 发布
阅读量578 收藏 1
点赞数
分类专栏： 从头开始学ElasticSearch 文章标签： elasticsearch
未经博主同意，禁止转载。
本文链接：https://blog.csdn.net/Jgx1214/article/details/120124131
版权

1.简介
elasticsearch提供了如下三种方式来解决分页与遍历问题，分别是from/size、scroll以及search_after。

2.from/size
(1).query
查询job字段为"Java engineer"的文档，从第2个位置开始，展示2条。

POST /employee/_search

{
  "query": {
    "match": {
      "job": "Java engineer"
    }
  },
  "from": 1,
  "size": 2
}
  • from:开始位置
  • size:获取数量
{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 0.6931472,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wol1hnsBEsHOdz1YHsp3",
        "_score" : 0.6931472,
        "_source" : {
          "name" : "Stephen Curry",
          "job" : "Java engineer",
          "age" : 27,
          "salary" : 20000.0,
          "birthday" : "1995-08-06"
        }
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wYl0hnsBEsHOdz1Y4cqT",
        "_score" : 0.47000363,
        "_source" : {
          "name" : "James Harden",
          "job" : "Java engineer",
          "age" : 31,
          "salary" : 30000.0,
          "birthday" : "1991-01-01"
        }
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "xol1hnsBEsHOdz1YXcqt",
        "_score" : 0.47000363,
        "_source" : {
          "name" : "Chirs Paul",
          "job" : "Java engineer",
          "age" : 33,
          "salary" : 29000.0,
          "birthday" : "1988-12-02"
        }
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "x4l1hnsBEsHOdz1YbMo-",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "Jason Tatum",
          "job" : "Java engineer",
          "age" : 24,
          "salary" : 15000.0,
          "birthday" : "1997-08-02"
        }
      }
    ]
  }
}

(2).深度分页
如果检索条件中，from为990，size为10，即需要获取从990-1000的文档，那么elasticsearch会在每个分片上先获取1000个文档，然后再由coordinating node聚合所有分片的结果后，再排序选取前1000个文档。
但是如果from的值越深，处理的文档就会越多，占用内存也会越多，耗时就会越长。为了解决深度分页的问题，elasticsearch通过index.max_result_window限制最多为10000条。

3.scroll
(1).简介
遍历文档集的API，是以快照的方式来避免深度分页问题的，其具有以下特性。

  • 不能用来做实时搜索，因为数据不是实时的
  • 尽量不要使用复杂的sort条件，使用_doc最高效
  • 使用稍微复杂

(2).query
a:发起scroll search请求
elasticsearch在收到请求后会根据查询条件创建文档id合集的快照。

POST /employee/_search?scroll=5m

{
	"size": 2
}

{
  "_scroll_id" : "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAOM0FjBKRG9TQkFWUXIyOVpCMW15dFNRZ3cAAAAAAADjNRYwSkRvU0JBVlFyMjlaQjFteXRTUWd3AAAAAAAA4zYWMEpEb1NCQVZRcjI5WkIxbXl0U1FndwAAAAAAAOMyFjBKRG9TQkFWUXIyOVpCMW15dFNRZ3cAAAAAAADjMxYwSkRvU0JBVlFyMjlaQjFteXRTUWd3",
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wol1hnsBEsHOdz1YHsp3",
        "_score" : 1.0,
        "_source" : {
          "name" : "Stephen Curry",
          "job" : "Java engineer",
          "age" : 27,
          "salary" : 20000.0,
          "birthday" : "1995-08-06"
        }
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "xYl1hnsBEsHOdz1YTsrN",
        "_score" : 1.0,
        "_source" : {
          "name" : "Kevin Durant",
          "job" : "Vue engineer",
          "age" : 30,
          "salary" : 28000.0,
          "birthday" : "1992-05-01"
        }
      }
    ]
  }
}
  • scroll:该scroll快照的有效时间
  • size:每次scroll返回的文档数
  • _scroll_id:后续调用scroll API需要的参数

b:调用scroll API
通过不断迭代调用直到返回hits.hits数组为空来获取文档集合。

POST /_search/scroll

{
	"scroll": "5m",
	"scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAAqFlZ3X0JzalA1UlJlZXVleDhONkRteXcAAAAAAAAALRZWd19Cc2pQNVJSZWV1ZXg4TjZEbXl3AAAAAAAAAC4WVndfQnNqUDVSUmVldWV4OE42RG15dwAAAAAAAAArFlZ3X0JzalA1UlJlZXVleDhONkRteXcAAAAAAAAALBZWd19Cc2pQNVJSZWV1ZXg4TjZEbXl3"
}

{
  "_scroll_id" : "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAOM0FjBKRG9TQkFWUXIyOVpCMW15dFNRZ3cAAAAAAADjNRYwSkRvU0JBVlFyMjlaQjFteXRTUWd3AAAAAAAA4zYWMEpEb1NCQVZRcjI5WkIxbXl0U1FndwAAAAAAAOMyFjBKRG9TQkFWUXIyOVpCMW15dFNRZ3cAAAAAAADjMxYwSkRvU0JBVlFyMjlaQjFteXRTUWd3",
  "took" : 9,
  "timed_out" : false,
  "terminated_early" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wYl0hnsBEsHOdz1Y4cqT",
        "_score" : 1.0,
        "_source" : {
          "name" : "James Harden",
          "job" : "Java engineer",
          "age" : 31,
          "salary" : 30000.0,
          "birthday" : "1991-01-01"
        }
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "w4l1hnsBEsHOdz1YM8pq",
        "_score" : 1.0,
        "_source" : {
          "name" : "LeBron James",
          "job" : "Technical director",
          "age" : 35,
          "salary" : 50000.0,
          "birthday" : "1987-12-25"
        }
      }
    ]
  }
}

c:删除快照
过多的scroll调用会占用大量的内存，可以通过clear API删除过多的scroll快照。

POST /_search/scroll

{
	"scroll_id": ["DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAAqFlZ3X0JzalA1UlJlZXVleDhONkRteXcAAAAAAAAALRZWd19Cc2pQNVJSZWV1ZXg4TjZEbXl3AAAAAAAAAC4WVndfQnNqUDVSUmVldWV4OE42RG15dwAAAAAAAAArFlZ3X0JzalA1UlJlZXVleDhONkRteXcAAAAAAAAALBZWd19Cc2pQNVJSZWV1ZXg4TjZEbXl3"]
}

4.search_after
(1).简介
避免深度分页的性能问题，提供实时的下一页文档获取功能，其具有以下特点。

  • 缺点是不能使用from参数，即不能指定页数
  • 只能下一页不能上一页
  • 使用简单

(2).query
a:指定sort值，并保证值唯一进行搜索。

POST /employee/_search

{
	"size": 2,
	"sort": {
		"age": "desc",
		"_id": "desc"
	}
}

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "w4l1hnsBEsHOdz1YM8pq",
        "_score" : null,
        "_source" : {
          "name" : "LeBron James",
          "job" : "Technical director",
          "age" : 35,
          "salary" : 50000.0,
          "birthday" : "1987-12-25"
        },
        "sort" : [
          35,
          "w4l1hnsBEsHOdz1YM8pq"
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "xol1hnsBEsHOdz1YXcqt",
        "_score" : null,
        "_source" : {
          "name" : "Chirs Paul",
          "job" : "Java engineer",
          "age" : 33,
          "salary" : 29000.0,
          "birthday" : "1988-12-02"
        },
        "sort" : [
          33,
          "xol1hnsBEsHOdz1YXcqt"
        ]
      }
    ]
  }
}

b:使用上一步最后一个文档的sort值进行查询。

POST /employee/_search

{
	"size": 1,
	"search_after": [33, "3"],
	"sort": {
		"age": "desc",
		"_id": "desc"
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wYl0hnsBEsHOdz1Y4cqT",
        "_score" : null,
        "_source" : {
          "name" : "James Harden",
          "job" : "Java engineer",
          "age" : 31,
          "salary" : 30000.0,
          "birthday" : "1991-01-01"
        },
        "sort" : [
          31,
          "wYl0hnsBEsHOdz1Y4cqT"
        ]
      }
    ]
  }
}

(3).如何避免深度分页
通过唯一排序值定位将每次要处理的文档数都控制在size内，其示意图如下所示。
在这里插入图片描述

5.总结

类型场景
from/size需要实时获取顶部的部分文档，且需要自由翻页
scroll需要全部文档，如导出所有数据的功能
search_after需要全部文档，不需要自由翻页
lwen.steven
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch7学习笔记之排序、分页遍历和对象
四国棋客
02-12 1729
文章目录排序简介示例单字段排序多字段排序text字段排序排序的两种方法分页与遍历深度分页问题SearchAfterScrollAPI不同的搜索类型和使用场景并发控制对象、嵌套对象、文档的父子关系对象嵌套对象嵌套聚合父子关系设置索引关系索引父文档索引子文档查询根据父文档ID查询父文档根据parentID查询父文档hasChild查询hasParent查询get方法查询子文档更新子文档嵌套对象和父子文档的对比 排序 简介 es的排序是针对字段原始内容进行的，此时要用到正排索引，也就是通过文档id和字段快速得到字
ElasticSearch基础（二）
chinusyan的专栏
09-29 367
接上篇 一、ElasticSearch常用编程操作 1.索引相关操作 1.1创建索引 @Test public void createIndex() { //准备创建索引 ，指定索引名 执行创建的动作（get方法） transportClient.admin().indices().prepareCreate("blog03").get(); } 1.2删除索引 //删除索引 @Test public void deleteIndex
ElasticSearch - 基于 JavaRestClient 查询文档（match、精确、复合查询，以及排序、分页、高亮）
CYK_byte的博客
09-26 920
全文检索的 match 和 multi_match 查询和前面演示的 match_all 调用的 API 基本一致，差别就是查询条件，也就是 query 部分（通过 QueryBuilders 构建的条件不一样）.DSL 语句的构建是通过 HighLevelRestClient 中的 Resource 实现的，其中包含了 查询、排序】分页、高亮等所有功能.其中 query 表示查询的意思，他的查询条件的是由 QueryBuilders 的工具类提供的，包含了各种查询方法.range 查询也是如此.
正确遍历ElasticSearch索引
dinghui2004的博客
09-07 505
1：ElasticSearch的查询过程 2：由ES查询模式引起的深度分页问题 3：如何正确遍历索引中的数据 ElasticSearch的查询过程 es的数据查询分两步： 第一步是的结果是获取满足查询条件的，分布于各个shard上的_doc_id及对应_score； 第二步是根据第一步获取的所有的_doc_id，去各个shard上获取数据明细，合并返回客户端。 ...
复杂拦截器
kc527347568的博客
11-20 130
public class LoggingInterceptor implements Interceptor { private static final String TAG = "LoggingInterceptor"; @Override public Response intercept(Chain chain) throws IOException { //拦截链对象 Request request = chain.req
Elasticsearch之深入了解Search的运行机制
01-20
在深入探讨Elasticsearch的搜索运行机制之前，我们先理解一下Elasticsearch的基本概念。Elasticsearch是一个分布式、开源的全文搜索引擎，它基于Lucene构建，提供了实时数据分析和搜索功能。其核心特性包括高可用性...
Elasticsearch之分页变量
01-20
es 提供了3种方式来解决分页与遍历的问题： – from/size – scroll – search_afterForm/Size 最常见的分页方案 – from指明开始位置 – size 指明获取总数 scroll 遍历文档集的 api，以快照的方式来避免深度分页的...
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
Java架构直通车——ElasticSearch深度分页解决方案
01-20
Elasticsearch之所以限制深度分页，是因为它基于分片存储数据。在获取大范围的文档时，需要从所有分片中获取数据，然后进行全局排序，这可能导致巨大的性能开销和内存消耗。 ### 深度分页解决方案 #### 方案1：...
Elasticsearch实战与原理解析 源代码.zip
06-06
这份"**Elasticsearch实战与原理解析 源代码**"的压缩包文件提供了关于这个强大工具的实践案例和源代码，旨在帮助用户深入理解和掌握Elasticsearch的核心功能和工作原理。 首先，我们要了解Elasticsearch的基本概念...
elasticsearch遍历出全部数据
热门推荐
sinat_33201468的博客
08-17 1万+
@Test public void testScroll() throws IOException { TransportClient esClient = new ESClient().getInstance(); SearchResponse searchResponse = esClient.prepareSearch(indexName) .setT
Elasticsearch：在 Java 客户端中使用 scroll 来遍历搜索结果 - Elastic Stack 8.x
Elastic 中国社区官方博客
09-28 1746
如果你搜索不经常更改的文档，则使用标准查询的分页效果非常好；否则，使用实时数据执行分页会返回不可预测的结果。为了绕过这个问题，Elasticsearch 在查询中提供了一个额外的参数：scroll。如果你对搜索结果分页不是很熟悉的话，请参考我之前的文章 “”。
ElasticSearch search_after 分页
qq_40633152的博客
06-03 1616
search_after 分页的方式和 from - size 分页 相似； 在from-size 的基础上 添加 “sort” 将from 去掉 { "size": 10, "query": { "match" : { "title" : "elasticsearch" } }, "sort": [ {"_id": "desc"} ] } 然后再第二次查询的时候 添加search_af.
ElasticSearch的查询相关操作---使用es的api和结果遍历
Shea1992的博客
01-17 2352
开发十年，就只剩下这套Java开发体系了 >>>    ...
Elasticsearch分页解决方案研究
WorldMvp的专栏
11-12 4087
1.1 常见的分页方式：from+size elasticsearch默认采用的分页方式是from+size的形式。但是，在深度分页的情况下，这种使用方式的效率是非常低的，比如from=5000,size=10，es需要在各个分片上匹配排序并得到5000*10条有效数据，然后在结果集中取最后10条数据返回。除了会遇到效率上的问题，还有一个无法解决的问题：es目前支持最大的skip值是max_result_window（默认为10000），也就是说，当from+size > max_resul...
Elasticsearch Search After分页查询所有数据
最新发布
26857259
01-25 1780
search_after 查询本质：使用前一页中的一组排序值来检索匹配的下一页。前置条件：使用 search_after 要求后续的多个请求返回与第一次查询相同的排序结果序列。也就是说，即便在后续翻页的过程中，可能会有新数据写入等操作，但这些操作不会对原有结果集构成影响。如何实现呢？可以创建一个时间点 Point In Time（PIT）保障搜索过程中保留特定事件点的索引状态。Point In Time（PIT）是 Elasticsearch 7.10 版本之后才有的新特性。
干货 | 全方位深度解读 Elasticsearch 分页查询
铭毅天下Elasticsearch
05-06 7130
1、关于 Elasticsearch 分页查询，这几个问题经常被问到问题1：想请问下，一次性获取索引上的某个字段的所有值（100 万左右），除了把 max_result_window 调大...
【Elasticsearch】使用 Elasticsearch Painless 脚本以递归方式遍历 JSON 字段
九师兄
06-16 1227
Painless 是一种简单、安全的脚本语言，专为与 Elasticsearch 一起使用而设计。它是 Elasticsearch 的默认脚本语言，可以安全地用于内联和存储脚本。在众多用例之一中，Painless 可以在文档被摄取到您的 Elasticsearch 集群时对其进行修改。在这个用例中，您可能会发现您想使用 Painless 来评估 Elasticsearch 接收到的每个文档中的每个字段。但是，由于 JSON 文档的分层性质，如何迭代所有字段可能并不明显。
Elasticsearch全量数据增量遍历实现原理
铭毅天下Elasticsearch
03-04 8066
0、需求 针对凤凰网财经版块的新闻数据和评论数据， 1个索引存储采集凤凰网财经版块的新闻数据；1个索引存储相关的财经数据评论结果。 统计： 1）某条新闻的评论数的多少？ 2）某条评论属于哪条新闻？ 3）当前已采集数据的所有评论、评论数汇总，按照评论数逆序排序，以便于图形化展示。 1、问题分解 1.1 数据如何存储，方案选型？ 方案一：类似需求，1个索引ifeng_index...
Elasticsearch基础教程：快速掌握ES语法与索引概念
"这篇资源是针对初学者的Elasticsearch (ES) 语法基础入门教程，涵盖了ES的安装、基本特性和DSL语法，同时也讲解了Kibana的使用。此外，教程还深入介绍了搜索引擎和倒排索引的概念，旨在帮助初学者快速掌握搜索引擎...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值