50.初识搜索引擎_基于scroll技术滚动搜索大量数据

最新推荐文章于 2023-04-18 14:09:35 发布

远处的海亲吻着天

最新推荐文章于 2023-04-18 14:09:35 发布

阅读量280

点赞数

分类专栏： ElasticSearch入门

本文链接：https://blog.csdn.net/lm324114/article/details/104540076

版权

本文介绍了 Scroll 技术在处理大量数据查询时的优势。Scroll 是一种高效获取大量数据的手段，通过创建视图快照并分批检索，确保性能不受影响。内容包括 Scroll 的工作原理，以及如何在实际操作中使用 Scroll 参数和 Scroll ID 来进行数据检索。

摘要由CSDN通过智能技术生成

1、什么是scroll

如果一次性要查出来比如10万条数据，那么性能会很差，此时一般会采取用scroll滚动查询，一批一批的查，直到所有数据都查询完处理完

使用scroll滚动搜索，可以先搜索一批数据，然后下次再搜索一批数据，以此类推，直到搜索出全部的数据来
scroll搜索会在第一次搜索的时候，保存一个当时的视图快照，之后只会基于该旧的视图快照提供数据搜索，如果这个期间数据变更，是不会让用户看到的
采用基于_doc进行排序的方式，性能较高
每次发送scroll请求，我们还需要指定一个scroll参数，指定一个时间窗口，每次搜索请求只要在这个时间窗口内能完成就可以了

2、scroll怎么用

示例

GET /test_index/test_type/_search?scroll=1m
{
  "query": {
    "match_all": {}
  },
  "sort": [ "_doc" ],
  "size": 3
}
--------------------------------结果--------------------------------
{
  "_scroll_id": "DnF1ZXJ5VGhlbkZldGNoAwAAAAAAACohFlMyUHRhcnFLU0lxemR4SWRYS0tZV2cAAAAAAAAqIhZTMlB0YXJxS1NJcXpkeElkWEtLWVdnAAAAAAAAKiMWUzJQdGFycUtTSXF6ZHhJZFhLS1lXZw==",
  "took": 8,
  "timed_out": false,
  "_shards": {