ElasticSearch scroll查询原理

一、 ES搜索两阶段简介

ES的搜索是分2个阶段进行的，即Query阶段和Fetch阶段。 

Query阶段比较轻量级，通过查询倒排索引，获取满足查询结果的文档ID列表。 

Fetch阶段比较重，需要将每个shard的结果取回，在协调结点进行全局排序。  通过From+size这种方式分批获取数据的时候，随着from加大，需要全局排序并丢弃的结果数量随之上升，性能越来越差。
 

二、 scroll分析
Scroll查询，先做轻量级的Query阶段以后，免去了繁重的全局排序过程。 它只是将查询结果集，也就是doc id列表保留在一个上下文里， 之后每次分批取回的时候，只需根据设置的size，在每个shard内部按照一定顺序（默认doc_id续)， 取回这个size数量的文档即可。 
 

三、 scroll使用场景
可以看出scroll不适合支持那种实时的和用户交互的前端分页工作，其主要用途用于从ES集群分批拉取大量结果集的情况，一般都是offline的应用场景。  比如需要将非常大的结果集拉取出来，存放到其他系统处理，或者需要做大索引的reindex等等。

 

具体原理分析可参考如下三篇文章：

    https://elasticsearch.cn/question/2935 (ES中文社区讨论内容)
    https://www.elastic.co/guide/cn/elasticsearch/guide/cn/_fetch_phase.html (query_then_fetch官方文档)
    https://www.jianshu.com/p/91d03b16af77 (scroll源码分析)