elasticsearch scroll 一页最大数据量_ElasticSearch使用Scroll检索大规模数据

本文属于介绍 NWPC 消息平台 系列文章。

默认配置下 ElasticSearch 单个查询只能返回一页 (page) 数据，默认一页大小为 10000。想要检索大规模数据，有多种方式。本文介绍使用 scroll API 获取大规模数据的方法。

标准查询

查询 2020 年 12 月 GRAPES TYM 系统的所有产品消息。TYM 系统一天运行 4 次，每个时次生成 121 个产品，理论上 12 月一共有 4 * 121 * 31 = 15004 个消息。

请求 API

POST /2020-12/_search

请求体

{
    
"query": {
    
"term" : {
    
"data.system": "grapes_tym"
    }
  },
"sort": {
    
"time": "asc"
  }
}

查询结果如下 (省略返回条目)。可以看到只查询到 10000 个结果。

{
    
"took" : 3,
"timed_out" : false,
"_shards" : {
    
"