ElasticSearch 实战：ES的分页查询及其深分页问题 (deep paging)

Elasticsearch 中的分页查询通常使用 from 和 size 参数来实现，但是随着分页深度加深（也就是请求更靠后的页码），可能出现性能问题，这就是所谓的深分页（Deep Paging）问题。以下是如何使用分页以及应对深分页问题的方法：

基础分页查询

GET /my_index/_search
{
  "from": 100, // 从第101条记录开始
  "size": 10,  // 每页返回10条记录
  "query": { ... } // （可选）查询条件
}

深分页问题及其原因

• 性能问题：随着from值增大，Elasticsearch需要遍历更多分片，排序更多文档以确定哪一部分文档应当返回。这会导致性能急剧下降，尤其是在大规模索引中，因为查询可能需要跨越大量分片并对每个分片的所有文档进行排序。

• 内存消耗：由于Elasticsearch需要在内存中维护排序后的结果集，因此在处理深分页时可能会遇到内存不足的问题。

解决深分页问题的策略：

1. 滚动（Scroll）查询：
   • 适用于一次性获取大量数据，但不适合用于用户界面分页。
   • 利用scroll API，可以保留查询上下文并在一段时间内多次请求以获取所有匹配的文档。
   • 不适用于实时性要求高的场景，因为滚动查询中的结果基于第一次查询时的状态。

POST /_search?scroll=1m
{
  "query": { ... },
  "size": 100
}

GET /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "your_scroll_id"
}

2. Search After 查询：
   • 一种更有效的深分页替代方案，特别适用于连续的、顺序的分页。
   • 不需要维持排序状态，而是通过上次请求返回的最后一个文档的排序值作为下一次查询的起点。

GET /my_index/_search
{
  "query": { ... },
  "size": 10,
  "search_after": [12345], // 上一页最后一条记录的排序值
  "sort": [
    { "sort_field": { "order": "asc" } } // 根据sort_field进行排序
  ]
}

3. 限制分页深度：

   • 如果确实需要支持深分页，考虑在应用层面对用户进行限制，比如设置最大的分页深度。

4. 设计优化：

   • 考虑是否真的需要深分页，或者是否有其他方式展示数据，如无限滚动加载（infinite scroll）、分面导航（faceted navigation）等。

综上所述，针对深分页问题，Elasticsearch 提供了多种解决方案，实际使用时应结合具体业务场景和性能需求选择合适的方法。