ElasticSearch分页search_after和scroll的区别以及用法

search_after

搜索的时候指定一个不重复的字段进行排序,将返回的不重复的字段的值作为seach_after的值请求

优点是:避免深度分页的性能问题,可以实时获取下一页文档信息
- 不支持指定页数,之可以一业一业的往下翻页

搜索指定sort,并且保证值是唯一的,可以通过加入_id 保证唯一性
使用上一次最后一个文档的sort值 进行查询

POST users/_doc
{"name":"user1","age":10}

POST users/_doc
{"name":"user2","age":20}

POST users/_doc
{"name":"user3","age":30}

POST users/_search
{
  "size": 1, 
  "query": {
    "match_all": {}
  },
  "sort": [
    {"_id":"asc"}
  ]
}

POST users/_search
{
  "size": 1,
  "query": {
    "match_all": {}
  },
  "search_after":[
      "5K21AG4Btbn56kNQpBIJ"
    ],
  "sort": [
    {"_id":"asc"}
  ]
}
scroll

创建一个快照,但是有新的数据写入之后,无法被查到,因为scroll是把数据创建一个快照,新写入的数据,不在快照中,所以无法被查询到。

POST users/_search?scroll=5m
{
  "size": 1, 
  "query": {
    "match_all": {}
  }
}

POST _search/scroll
{
  "scroll":"5m",
  "scroll_id":"DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAF1-4WRjk5NTF6d0NSbWFyODZmdFlGUkpadw=="
}

scroll=5m 指定了快照存在时间 5 分钟,通过快照返回的id ,然后拿id 去再次查询

Elasticsearch 中,深度分页功能的使用需要考虑到性能问题。一般来说,建议不要使用过深的分页,以避免对 Elasticsearch 的性能造成负面影响。 以下是在 Elasticsearch 中使用深度分页的方法: 1. 使用 scroll API 进行深度分页查询 scroll API 可以在内存中存储搜索上下文,而不是在每个请求之间重新计算。这使得在大数据集上进行深度分页查询变得更加有效。 示例代码: ``` SearchRequest searchRequest = new SearchRequest("indexName"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(100); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); String scrollId = searchResponse.getScrollId(); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(TimeValue.timeValueMinutes(1L)); SearchResponse scrollResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); scrollId = scrollResponse.getScrollId(); searchHits = scrollResponse.getHits().getHits(); // Do something with searchHits } ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT); ``` 在上面的示例中,size 参数设置为 100,表示每次检索返回 100 个结果。scroll API 的 scroll 参数设置为 1 分钟,表示在这段时间内保持搜索上下文。 2. 使用 search_after 参数进行深度分页查询 search_after 参数可以用来指定上一次搜索的最后一个结果,以便从下一个结果开始进行分页查询。 示例代码: ``` SearchRequest searchRequest = new SearchRequest("indexName"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(100); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchHit lastHit = searchHits[searchHits.length - 1]; searchSourceBuilder.searchAfter(lastHit.getSortValues()); searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); searchHits = searchResponse.getHits().getHits(); // Do something with searchHits } ``` 在上面的示例中,size 参数设置为 100,表示每次检索返回 100 个结果。search_after 参数使用上一次搜索的最后一个结果的排序值。 总之,深度分页查询在 Elasticsearch 中的实现需要考虑性能问题,建议使用 scroll API 或 search_after 参数来实现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值