ElasticSearch利用Search After解决深度分页问题

最新推荐文章于 2022-08-15 10:22:23 发布
最新推荐文章于 2022-08-15 10:22:23 发布
阅读量2.1k 收藏 5
点赞数 1
分类专栏： Elasticsearch 文章标签： es深度分页 深度分页 elasticsearch es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvxinchun/article/details/114478340
版权

ElasticSearch利用Search After解决深度分页问题

1.ElasticSearch常见分页

ElasticSearch默认采用的分页方式是 from+ size 的形式，这种形式下，如果数据量不大或者from、size不大的情况下，效率还是蛮高的。但是在深度分页的情况下，这种使用方式效率是非常低的，并发一旦过大，还有可能直接拖垮整个ElasticSearch的集群。

那么 from+ size 这种分页方式的原理是什么呢？

我们知道，ElasticSearch本身就是分布式的，数据基本上会均匀的分布在各个分片上，比如当一个查询，from=990,size=10,ElasticSearch会在每个分片上都先获取1000个文档，然后通过Coordinating Node聚合所有结果，通过排序选取前1000个文档，最后再从这1000个选择出来的文档中，挑选出10个文档反回给客户端。试想一下，如果from=100000,size=10,三个分片，那么每个分片都要查询出100010个文档，那么Coordinating Node聚合三个分片的数据，就是3*100010个文档，这就非常恐怖了，会占用大量的内存

2.ElasticSearch深度分页问题

现在如果我们要做以下的操作：当前index采用了3个分片，from=100000,size=10,那么这种情况就是一种典型的深度分页。根据上面我们说的分页知识，这时候每个分片都要查询出100010个文档，那么Coordinating Node聚合三个分片的数据，就是3*100010个文档，这就非常恐怖了，会占用大量的内存。偶尔的查询可能还好，如果恰好遇到大的并发，直接就会把内存给打爆的，拖垮整个ElasticSearch集群。所以为了避免深度分页带来的内存开销，ElasticSearch内部有一个默认设定，即最多只能查询前10000个文档。那么如果产品必须要做深度分页，那么应该采取什么方案呢？这个时候，Search_After就开始登场了。

3.ElasticSearch深度分页问题的解决

Search_After通过维护一个实时游标来避免scroll的缺点，它可以用于实时请求和高并发场景。

每个文档具有一个唯一值的字段应该用作排序规范的仲裁器。否则，具有相同排序值的文档的排序顺序将是未定义的。建议的方法是使用字段_id或者业务Id，保证是每个文档的一个唯一值。

POST /kibana_sample_data_ecommerce/_search
{
  "size": 1,
  "query": {
    "match": {
      "customer_first_name": "Brigitte"
    }
  },
  "sort": [
    { "order_date": {"order": "desc"}},
    {"order_id": "asc"}
  ]      
}

返回结果：

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 135,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "kibana_sample_data_ecommerce",
        "_type" : "_doc",
        "_id" : "KEtz4XcBG0yVqdDwEOv7",
        "_score" : null,
        "_source" : {
          "category" : [
            "Women's Shoes",
            "Women's Clothing"
          ],
          "currency" : "EUR",
          "customer_first_name" : "Brigitte",
          "customer_full_name" : "Brigitte Cross",
          "customer_gender" : "FEMALE",
          "customer_id" : 12,
          "customer_last_name" : "Cross",
          "customer_phone" : "",
          "day_of_week" : "Saturday",
          "day_of_week_i" : 5,
          "email" : "brigitte@cross-family.zzz",
          "manufacturer" : [
            "Tigress Enterprises",
            "Pyramidustries"
          ],
          "order_date" : "2021-03-13T23:22:34+00:00",
          "order_id" : 592088,
          "products" : [
            {
              "base_price" : 36.99,
              "discount_percentage" : 0,
              "quantity" : 1,
              "manufacturer" : "Tigress Enterprises",
              "tax_amount" : 0,
              "product_id" : 14810,
              "category" : "Women's Shoes",
              "sku" : "ZO0026600266",
              "taxless_price" : 36.99,
              "unit_discount_amount" : 0,
              "min_price" : 19.23,
              "_id" : "sold_product_592088_14810",
              "discount_amount" : 0,
              "created_on" : "2016-12-31T23:22:34+00:00",
              "product_name" : "Ankle boots - black",
              "price" : 36.99,
              "taxful_price" : 36.99,
              "base_unit_price" : 36.99
            },
            {
              "base_price" : 54.99,
              "discount_percentage" : 0,
              "quantity" : 1,
              "manufacturer" : "Pyramidustries",
              "tax_amount" : 0,
              "product_id" : 9131,
              "category" : "Women's Clothing",
              "sku" : "ZO0184501845",
              "taxless_price" : 54.99,
              "unit_discount_amount" : 0,
              "min_price" : 25.3,
              "_id" : "sold_product_592088_9131",
              "discount_amount" : 0,
              "created_on" : "2016-12-31T23:22:34+00:00",
              "product_name" : "Light jacket - peacoat",
              "price" : 54.99,
              "taxful_price" : 54.99,
              "base_unit_price" : 54.99
            }
          ],
          "sku" : [
            "ZO0026600266",
            "ZO0184501845"
          ],
          "taxful_total_price" : 91.98,
          "taxless_total_price" : 91.98,
          "total_quantity" : 2,
          "total_unique_products" : 2,
          "type" : "order",
          "user" : "brigitte",
          "geoip" : {
            "country_iso_code" : "US",
            "location" : {
              "lon" : -74,
              "lat" : 40.8
            },
            "region_name" : "New York",
            "continent_name" : "North America",
            "city_name" : "New York"
          },
          "event" : {
            "dataset" : "sample_ecommerce"
          }
        },
        "sort" : [
          1615677754000,
          "592088"
        ]
      }
    ]
  }
}

上面的请求会为每一个文档返回一个包含sort排序值的数组。这些sort排序值可以被用于 search_after 参数里以便抓取下一页的数据。比如，我们可以使用最后的一个文档的sort排序值，将它传递给 search_after 参数

POST /kibana_sample_data_ecommerce/_search
{
  "size": 1,
  "query": {
    "match": {
      "customer_first_name": "Brigitte"
    }
  },
  "search_after":
     [
          1615677754000,
          "592088"
    ],
  "sort": [
    { "order_date": {"order": "desc"}},
    {"order_id": "asc"}
  ]      
}

返回结果：

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 135,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "kibana_sample_data_ecommerce",
        "_type" : "_doc",
        "_id" : "w0ty4XcBG0yVqdDw29iP",
        "_score" : null,
        "_source" : {
          "category" : [
            "Women's Clothing"
          ],
          "currency" : "EUR",
          "customer_first_name" : "Brigitte",
          "customer_full_name" : "Brigitte Meyer",
          "customer_gender" : "FEMALE",
          "customer_id" : 12,
          "customer_last_name" : "Meyer",
          "customer_phone" : "",
          "day_of_week" : "Saturday",
          "day_of_week_i" : 5,
          "email" : "brigitte@meyer-family.zzz",
          "manufacturer" : [
            "Spherecords",
            "Tigress Enterprises"
          ],
          "order_date" : "2021-03-13T16:06:14+00:00",
          "order_id" : 591709,
          "products" : [
            {
              "base_price" : 7.99,
              "discount_percentage" : 0,
              "quantity" : 1,
              "manufacturer" : "Spherecords",
              "tax_amount" : 0,
              "product_id" : 20734,
              "category" : "Women's Clothing",
              "sku" : "ZO0638206382",
              "taxless_price" : 7.99,
              "unit_discount_amount" : 0,
              "min_price" : 3.6,
              "_id" : "sold_product_591709_20734",
              "discount_amount" : 0,
              "created_on" : "2016-12-31T16:06:14+00:00",
              "product_name" : "Basic T-shirt - dark blue",
              "price" : 7.99,
              "taxful_price" : 7.99,
              "base_unit_price" : 7.99
            },
            {
              "base_price" : 32.99,
              "discount_percentage" : 0,
              "quantity" : 1,
              "manufacturer" : "Tigress Enterprises",
              "tax_amount" : 0,
              "product_id" : 7539,
              "category" : "Women's Clothing",
              "sku" : "ZO0038800388",
              "taxless_price" : 32.99,
              "unit_discount_amount" : 0,
              "min_price" : 17.48,
              "_id" : "sold_product_591709_7539",
              "discount_amount" : 0,
              "created_on" : "2016-12-31T16:06:14+00:00",
              "product_name" : "Summer dress - scarab",
              "price" : 32.99,
              "taxful_price" : 32.99,
              "base_unit_price" : 32.99
            }
          ],
          "sku" : [
            "ZO0638206382",
            "ZO0038800388"
          ],
          "taxful_total_price" : 40.98,
          "taxless_total_price" : 40.98,
          "total_quantity" : 2,
          "total_unique_products" : 2,
          "type" : "order",
          "user" : "brigitte",
          "geoip" : {
            "country_iso_code" : "US",
            "location" : {
              "lon" : -74,
              "lat" : 40.8
            },
            "region_name" : "New York",
            "continent_name" : "North America",
            "city_name" : "New York"
          },
          "event" : {
            "dataset" : "sample_ecommerce"
          }
        },
        "sort" : [
          1615651574000,
          "591709"
        ]
      }
    ]
  }
}

4.ElasticSearch之Search_After的注意事项

  1. 搜索时，需要指定sort,并且保证值是唯一的（可以通过加入_id或者文档body中的业务唯一值来保证）；
  2. 再次查询时，使用上一次最后一个文档的sort值作为search_after的值来进行查询；
  3. 不能使用随机跳页，只能是下一页或者小范围的跳页（一次查询出小范围内各个页数，利用缓存等技术，来实现小范围分页）；
泗水长流
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Java架构直通车——ElasticSearch深度分页解决方案
01-20
文章目录分页查询深度分页深度分页解决方案 分页查询 分页查询是这样的： POST /shop/_doc/_search { query: { match_all: {} }, from: 0, size: 10 } 不过，当查询是这样时，会报错： POST /shop/_doc/_search { query: { match_all: {} }, from: 9999, size: 10 } 报错结果如下： { error: {
elasticsearch 深度分页查询 Search_after（图文教程）
最新发布
智的博客
03-10 1963
是 Elasticsearch 提供的一种分页查询方式，它可以用来在已经排序的结果集中进行分页查询。search_after查询步骤如下（下面有具体的例子帮助理解）：最后一条排序结果相当于它的游标优点：相对于传统的from和size参数来说，在处理大量数据时性能更好，因为它不需要跳过之前的结果集,不严格受制于 max_result_window，可以无限制往后翻页。from和size只能翻页10000条.在实时数据更新频繁的场景下，可以确保查询结果的准确性，因为它不会受到新数据插入的影响。使用。
java实现es的search after查询（三种方式详解）
m0_50008952的博客
03-17 1万+
一、概念说明 1、form size查询 "浅"分页可以理解为简单意义上的分页。它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。 其中，from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。 性能上：越往后的分页，执行的效率越低。总体上会随着from的增加，消耗时间也会增加。而且数据量越大，就越明显！ 注意：因为es是基于分片的，假设有5个分片，from
ElasticSearch 分页查询及深度分页原理与实现
qq_44056652的博客
08-15 3247
的方式要更加高效，而且在不断有新数据入库的时候仅仅使用 from 和 size 分页会有重复的情况，相比使用 scroll 分页，search_after 可以进行实时的查询,不过 search_after。分页的深度，ElasticSearch 的分页窗口默认最多允许 10000 条数据，即 在每页 20 条数据的情况，最多可以分 500 页，超过后报错。scroll 查询的相应数据是非实时的，这点和PIT视图比较类似，如果遍历过程中插入新的数据，是查询不到的。并且保留上下文需要足够的堆内存空间。....
elasticsearch 深入 —— Search After实时滚动查询
热门推荐
gmHappy
09-18 3万+
Search After 一般的分页需求我们可以使用form和size的方式实现，但是这种分页方式在深度分页的场景下应该是要避免使用的。深度分页会随着请求的页次增加，所消耗的内存和时间的增长也是成比例的增加，为了避免深度分页产生的问题，elasticsearch从2.0版本开始，增加了一个限制： index.max_result_window =10000 建议使用Scroll api进行...
ES的searchAfter使用详解
weixin_45583482的博客
03-03 1万+
searchAfter简单来说就是将from。。。size中的from用searchAfter的sort字段表示，通过不断更新此sort字段实现向下滚动效果。但是和from不同的是对数据更新不敏感。 search after官网介绍 使用search_after时要求你的query值和sort值相同。更具体点是要求你的字段相同，你可以修改它的逻辑，比如你可以查时间为a的数据，那么你将逻辑改为比a大或者比a小都可以，但是你的逻辑必须是时间。sort同理，你可以升序也可以降序但你用来排序的字段不要变。 sea
Elasticsearch 深入理解search After 处理深度分页问题
wangxuelei036的博客
06-10 2万+
深度分页问题大致可以分为两类 随机深度分页：随机跳转页面 滚动深度分页：只能一页一页往下查询 本文得search After 处理的时滚动深度分页的问题 在旧版本中，ES为深度分页有scroll search 的方式，官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。那么在实时情况下如果处理深度分页的问题呢？es
Elasticsearch：运用search_after来进行深度分页
moliyiran的专栏
03-01 2524
在上一篇文章 “Elasticsearch：运用scroll接口对大量数据实现更好的分页”，我们讲述了如何运用scroll接口来对大量数据来进行有效地分页。在那篇文章中，我们讲述了两种方法： from加上size的方法来进行分页 运用scroll接口来进行分页 对于大量的数据而言，我们尽量避免使用from+size这种方法。这里的原因是index.max_result_window的默认值是10...
京东面试题：ElasticSearch深度分页解决方案
艾小仙的专栏
10-08 1560
前言Elasticsearch 是一个实时的分布式搜索与分析引擎，在使用过程中，有一些典型的使用场景，比如分页、遍历等。在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同...
ES深度分页.docx
04-04
es深度分页： 主要讨论了es的几种分页机制： 1、分页概述 2、浅分页 3、scroll深分页 4、search_after分页
Elasticsearch之分页变量
01-20
es 提供了3种方式来解决分页与遍历的问题： – from/size – scroll – search_afterForm/Size 最常见的分页方案 – from指明开始位置 – size 指明获取总数 scroll 遍历文档集的 api，以快照的方式来避免深度分页的...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
主要介绍了MySQL 与 Elasticsearch 数据不对称问题解决办法的相关资料,对于 elasticsearch 增量写入，但经常jdbc源一端的数据库可能会做数据库删除或者更新操作，这里提供解决办法，需要的朋友可以参考下
centos下root运行Elasticsearch异常问题解决
09-15
主要介绍了centos下root运行Elasticsearch异常问题解决的相关资料,Elasticsearch异常问题解决办法详细介绍，需要的朋友可以参考下
Elasticsearch安装插件
泗水长流的博客
02-26 818
Elasticsearch安装插件 插件的相关文档地址：https://www.elastic.co/guide/en/elasticsearch/plugins/current/index.html 这里我以安装analysis-icu这个分词插件为例来说明一下。 安装插件主要是以下几个命令： 1.查看已安装插件 bin/elasticsearch-plugin list 2.安装插件 bin/elasticsearch-plugin install analysis-icu 3.删除插件 bin/e
Centos7.x上安装cerebro
泗水长流的博客
02-27 546
Centos7.x上安装cerebro一、实验物料二级目录三级目录 一、实验物料 物料名称 下载地址 Centos7.x的虚拟机一台 jdk-11.0.7_linux-x64_bin.tar.gz https://code.aliyun.com/kar/oracle-jdk/raw/3c932f02aa11e79dc39e4a68f5b0483ec1d32abe/jdk-11.0.7_linux-x64_bin.tar.gz cerebro-0.8.3.tgz https://gi
Centos7上安装Elasticsearch和kibana（非集群模式）
泗水长流的博客
02-26 546
Centos7上安装Elasticsearch和kibana（非集群模式）一、实验物料二、安装过程1.安装Elasticsearch1、上传elaticsearch软件包及解压2、为elaticsearch创建用户并赋予相应权限3、配置elasticsearch.yml4、修改liunx服务器的配置5、启动Elasticsearch6、验证2.安装kibana1、上传kibana软件包及解压2、配置kibana.yml3、启动kibana4、验证三、小结 一、实验物料 Linux操作系统（Centos7），
java实现es分页查询_如何在elasticsearch里面使用深度分页功能
05-26
在 Elasticsearch 中，深度分页功能的使用需要考虑到性能问题。一般来说，建议不要使用过深的分页，以避免对 Elasticsearch 的性能造成负面影响。 以下是在 Elasticsearch 中使用深度分页的方法： 1. 使用 scroll API 进行深度分页查询 scroll API 可以在内存中存储搜索上下文，而不是在每个请求之间重新计算。这使得在大数据集上进行深度分页查询变得更加有效。 示例代码： ``` SearchRequest searchRequest = new SearchRequest("indexName"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(100); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); String scrollId = searchResponse.getScrollId(); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(TimeValue.timeValueMinutes(1L)); SearchResponse scrollResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT); scrollId = scrollResponse.getScrollId(); searchHits = scrollResponse.getHits().getHits(); // Do something with searchHits } ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT); ``` 在上面的示例中，size 参数设置为 100，表示每次检索返回 100 个结果。scroll API 的 scroll 参数设置为 1 分钟，表示在这段时间内保持搜索上下文。 2. 使用 search_after 参数进行深度分页查询 search_after 参数可以用来指定上一次搜索的最后一个结果，以便从下一个结果开始进行分页查询。 示例代码： ``` SearchRequest searchRequest = new SearchRequest("indexName"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.size(100); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); SearchHit[] searchHits = searchResponse.getHits().getHits(); while (searchHits != null && searchHits.length > 0) { SearchHit lastHit = searchHits[searchHits.length - 1]; searchSourceBuilder.searchAfter(lastHit.getSortValues()); searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); searchHits = searchResponse.getHits().getHits(); // Do something with searchHits } ``` 在上面的示例中，size 参数设置为 100，表示每次检索返回 100 个结果。search_after 参数使用上一次搜索的最后一个结果的排序值。 总之，深度分页查询在 Elasticsearch 中的实现需要考虑性能问题，建议使用 scroll API 或 search_after 参数来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值