es scroll 时间_ES 深度分页scroll使用方式

我们知道ES对于from+size的个数是有限制的，二者之和不能超过1w。当所请求的数据总量大于1w时，可用scroll来代替from+size。

首次查询使用方式如下：

curl -XGET 'localhost:9200/twitter/tweet/_search?scroll=1m&pretty' -H 'Content-Type: application/json' -d'

{

"size": 100,

"query": {

"match" : {

"title" : "elasticsearch"

}

}

}

'

接下来的查询方式如下：

curl -XGET 'localhost:9200/_search/scroll?pretty' -H 'Content-Type: application/json' -d'

{

"scroll" : "1m",

"scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ=="

}

'

如果你对scroll取出的数据顺序没有要求的话，则可以对“_doc”进行排序，es对这种排序做了优化。使用方式如下：

curl -XGET 'localhost:9200/_search?scroll=1m&pretty' -H 'Content-Type: application/json' -d'

{

"size": 100,

"query": {

"match" : {

"title" : "elasticsearch"

}

},

"sort": [

"_doc"

]

}

'

如果你想通过slice并行分片查询的话，可以这样设置：

curl -XGET 'localhost:9200/twitter/tweet/_search?scroll=1m&pretty' -H 'Content-Type: application/json' -d'

{

"slice": {

"id": 0,

"max": 2

},

"query": {

"match" : {

"title" : "elasticsearch"

}

}

}

'

curl -XGET 'localhost:9200/twitter/tweet/_search?scroll=1m&pretty' -H 'Content-Type: application/json' -d'

{

"slice": {

"id": 1,

"max": 2

},

"query": {

"match" : {

"title" : "elasticsearch"

}

}

}

'

两个请求可以同时运行。但是这样做会有个缺陷，内存占用较大，且第一次查询很慢。因为查询是O(N)的复杂度且每个slice占用N个bits，N是shard的总文档数。之后缓存的数据将加快查询。

为了避免上述情况，可以选择一个doc_values做slice，但是必须要确保这个field有以下特性：

Field必须是数字。

doc_values在这个field是启用的。

每个文档应该包含一个值，如果有多个，则第一个被使用。

该值在文档创建后不再改变。

该值的基数很大，即取值范围很广。

curl -XGET 'localhost:9200/twitter/tweet/_search?scroll=1m&pretty' -H 'Content-Type: application/json' -d'

{

"slice": {

"field": "date",

"id": 0,

"max": 10

},

"query": {

"match" : {

"title" : "elasticsearch"

}

}

}

'

关于seach after和scroll的原理

在第一次查询时，记录上一次查询的位置，在接下来的查询中获取到上次查询的位置，接着查询。

比如说将查询order by time offset 0 limit 100，改写成order by time where time>0 limit 100，记录最后一个$time_max,接下来的查询order by time offset 100 limit 100，改写成order by time where time>$time_max limit 100。如此往复，可以看出scroll是一个常量查询延迟和开销，并无什么副作用。

问题

scan被取消了，用sort _doc代替

对应到java api中，可用addSort("_doc", SortOrder.ASC)代替。

scroll查询时，scan类型scroll_id会变，普通查询scroll_id不会变

同样的命令，curl scroll scroll_id不会变，但java scroll会变。还没找到原因。

QueryBuilder qb = matchAllQuery();

SearchResponse scrollResp = source_client.prepareSearch(index)

.setScroll(new TimeValue(60000))

.addSort(FieldSortBuilder.DOC_FIELD_NAME, SortOrder.ASC)

.setQuery(qb)

.setSize(5000).get();

curl localhost:9200/customer/_search?scroll=3m -d '{"size":50,"sort":[{"_doc":{"order":"asc"}}],"query":{"match_all":{}}}'