from + size 浅分页
"浅"分页可以理解为简单意义上的分页;
查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询
GET test_dev/_search
{
"query": {
"bool": {
"filter": [
{
"term": {
"age": 28
}
}
]
}
},
"size": 10,
"from": 20,
"sort": [
{
"timestamp": {
"order": "desc"
},
"_id": {
"order": "desc"
}
}
]
}
其中,from定义了目标数据的偏移值,size定义当前返回值的数目。默认from为0,size为10,即所有的查询默认仅仅返回前10条数据。
From/Size原理
因为ES是基于分片的,假如有五个分片,from = 100,size = 10 ;则会根据排序规则从五个分片中各取回100条数据,然后汇总成500条数据后选择最后面的10条数据。
越往后的分页,执行的效率就越低。总体上会随着from的增加,消耗时间也会增加。而且数据量越大就越明显。
Scroll深分页
from + size查询在10000-50000条数据【1000-5000页】以内效果正常;但是如果数据量过多,就会出现深分页的问题。为解决此问题,Elasticsearch提出scroll滚动的方式。
scroll类似于sql中的cursor,每次只能获取一页的内容,然后会返回一个Scroll_Id,可以不断地获取下一页地内容, 所以scroll不适用于跳页地情景。
GET test_dev/_search?scroll=5m
{
"query": {
"bool": {
"filter": [
{
"term": {
"age": 28
}
}
]
}
},
"size": 10,
"from": 0,
"sort": [
{
"timestamp": {
"order": "desc"
},
"_id": {
"order": "desc"
}
}
]
}
- scroll = 5m 表示设置scroll_id 保留5分钟可用。
- 使用 scroll 必须将 from 设置为0.
- size决定后面每次调用_Search搜索返回地数量。
然后通过数据返回地scroll_id读取下一个地内容,每次请求将会读取后10条数据,直到数据读取完毕或者
Scroll_ID保留时间截止:
GET _search/scroll
{
"scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAJZ9Fnk1d......",
"scroll": "5m"
}
注:请求地接口不再使用索引名,而是_search/scroll,其中GET和POST方法都可以使用
scroll删除
根据官方文档的说法,scroll的搜索上下文会在scroll的保留时间截止后自动清除,但是我们知道scroll是非常消耗资源的,所以一个建议就是当不需要了scroll数据的时候,尽可能快的把scroll_id显式删除掉。
清除指定的scroll_id:
DELETE _search/scroll/DnF1ZXJ5VGhlbkZldGNo.....
清除所有的scroll:
DELETE _search/scroll/_all
search_after 深分页
scroll 的方式,官方的建议不用于实时的请求(一般用于数据导出),因为每一个 scroll_id 不仅会占用大量的资源,而且会生成历史快照,对于数据的变更不会反映到快照上。
search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。但是需要注意,因为每一页的数据依赖于上一页最后一条数据,所以无法跳页请求。
为了找到每一页最后一条数据,每个文档必须有一个全局唯一值,官方推荐使用 _uid 作为全局唯一值,其实使用业务层的 id 也可以。
GET test_dev/_search
{
"query": {
"bool": {
"filter": [
{
"term": {
"age": 28
}
}
]
}
},
"size": 20,
"from": 0,
"sort": [
{
"timestamp": {
"order": "desc"
},
"_id": {
"order": "desc"
}
}
]
}
- 使用search_after必须要设置from=0。
- 这里使用timestamp和_id作为唯一值排序。
- 在返回的最后一条数据里拿到sort属性的值传入到search_after。
使用sort返回的值搜索下一页:
GET test_dev/_search
{
"query": {
"bool": {
"filter": [
{
"term": {
"age": 28
}
}
]
}
},
"size": 10,
"from": 0,
"search_after": [
1541495312521,
"d0xH6GYBBtbwbQSP0j1A"
],
"sort": [
{
"timestamp": {
"order": "desc"
},
"_id": {
"order": "desc"
}
}
]
}