ElasticSearch | 分页 & 遍历 | From | Size | Search After | Scroll

分布式系统中深度分页的问题

深度分页.png

• ElasticSearch 天生就是分布式的，数据保存在多个分片和多台机器上的；
• 当发起一个查询，指定其 From=990，Size=10 的时候，会在每个分片上都先获取 1000 个文档；然后通过 Coordinating Node 聚合所有的结果；最后再通过排序选取前 1000 个文档；
• 页数越深，占用内存越多，为了避免深度分页带来的内存开销，ElasticSearch 有一个设定，默认限制到 10000 个文档，由参数 Index.max_result_window 控制；

From & Size | 举个栗子

• from + size 的值大于 10000，ElasticSearch 会报错；

POST tmdb/_search
{
  "from": 10000,
  "size": 1,
  "query": {
    "match_all": {

    }
  }
}

POST tmdb/_search
{
  "from": 0,
  "size": 10001,
  "query": {
    "match_all": {

    }
  }
}

避免深度分页问题 | Search After

• 使用 search_after 的 API 可以避免深度分页；
• 避免深度分页的性能问题，可以实时获取下一页文档的信息
  • search_after 不支持指定 From；
  • search_after 只能往下翻；
• search_after 使用时的第一步需要指定 sort，并且保证值是唯一的（可以通过加入 _id 保证唯一性）
• 然后使用上一次，最后一个文档的 sort 值，加入到 search_after 里面，进行查询；

Search After | 举个栗子

准备数据

DELETE users

POST users/_doc
{"name":"user1","age":10}
POST users/_doc
{"name":"user2","age":11}
POST users/_doc
{"name":"user2","age":12}
POST users/_doc
{"name":"user2","age":13}

POST users/_count

先取 1 条数据，得到其 sort 字段的值：sort：10，_id：ZQ0vYGsBrR8X3IP75QqX；

POST users/_search
{
    "size": 1,
    "query": {
        "match_all": {}
    },
    "sort": [
        {"age": "desc"} ,
        {"_id": "asc"}    
    ]
}

调用 search_after API，指定上一步查出来的用于 sort 的字段的值；

POST users/_search
{
    "size": 1,
    "query": {
        "match_all": {}
    },
    "search_after":
        [
          10,
          "ZQ0vYGsBrR8X3IP75QqX"],
    "sort": [
        {"age": "desc"} ,
        {"_id": "asc"}    
    ]
}

Search After API 是如何解决深度分页的问题

• 假定 Size 是 10，当查询到 990 - 1000 的文档时；
• 通过 search_after 的 sort 的定位，Coordinating Node 每次只需要在分片上取回 10 条文档，这样就可以通过控制文档的个数，避免深度分页的开销；

---

Scroll API

• 在调用的第一次，指定一个 Scroll 存活的时间，ElasticSearch 会基于这个请求创建一个快照，带来的问题是：有新的数据写入后，无法被查到；
• 当得到 Scroll 的 Id 后，每次查询输入上一次的 Scroll Id；

Scroll API | 举几个栗子

准备数据

DELETE users
POST users/_doc
{"name":"user1","age":10}

POST users/_doc
{"name":"user2","age":20}

POST users/_doc
{"name":"user3","age":30}

基于 Scroll API 创建快照

• 快照生效的时间是 5 分钟；
• 执行后会返回第一条数据，并得到第一条 Scroll Id：DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAWAWbWdoQXR2d3ZUd2kzSThwVTh4bVE0QQ==；

POST /users/_search?scroll=5m
{
    "size": 1,
    "query": {
        "match_all" : {
        }
    }
}

再写入一个文档

POST users/_doc
{"name":"user4","age":40}

调用 Scroll API

• 带上第一次得到的 Scroll Id：DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAWAWbWdoQXR2d3ZUd2kzSThwVTh4bVE0QQ==，返回第二条数据，并得到第二个 Scroll Id；
• 就这样一次次的查，就能获取快照中的所有数据；
• 快照生成的时候，只有 3 条数据，那么在快照期间新写入的文档，就不会被查询到；

POST /_search/scroll
{
    "scroll" : "1m",
    "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAWAWbWdoQXR2d3ZUd2kzSThwVTh4bVE0QQ=="
}

---

不同搜索类型 | 使用场景

Regular

一般调用 ES 的查询时，只会返回头部的最新的 10 条文档，例如查询最新的订单；

Scroll

需要获取索引中的所有文档，例如导出全部数据；

Pagination

如果有分页的需求，可以使用 From & Size；如果页数非常深的时候，选用 Search After，局限性就是每次只能往后查询；