行业独家 | 腾讯云ES：PB日志查询大提速，自治索引查询裁剪详解！

作者：腾讯云大数据ES团队

背景概述

日志场景一般具有明显的冷热特点，比如保留7天的日志数据，但P90查询都集中在近12小时，并且在查询日志时一般使用索引前缀查询，比如filebeat-*，这种查询比指定索引名查询，耗时会长3倍以上。而日志场景一般具有近热远冷的特性，例如刚上报的日志数据，往往读写频率较高，而随着时间推移，频率则慢慢降低，因此，通配查询的必要性并不强，如果能根据该特性进行查询剪枝，将能够极大的提升查询效率。

Search流程浅析

在ES中，客户端请求可以发送到集群的任何节点，每个节点都知道任意文档所处的位置，然后转发这些请求，收集数据并返回给客户端，接收客户端请求的节点称为协调节点。协调节点将请求转发给保存数据的数据节点，每个数据节点在本地执行请求，并将结果返回给协调节点，协调节点收集完数据后，将每个数据节点的结果合并为单个全局结果并进行排序，最终将该结果返回给客户端。

基于search的搜索操作，搜索任务会被分为两个阶段执行，即query then fetch，这里需要两个阶段才能完成搜索的原因在于，通过search执行搜索任务，在查询的时候无法提前知道文档位于哪些分片，因此索引的所有分片（某个数据副本）都要参与搜素（query），然后协调节点将结果合并，再根据文档ID获取（fetch）文档内容。例如，有10个分片，我们需要查询返回前10个匹配度最高的文档，那么每个分片都需要查询出当前分片的Top10，协调节点将10✖️10的结果再次排序，返回最终Top10的结果给客户端。我们可以简单的看下query then fetch的流程。

分布式搜索流程

查询裁剪概述

从对search流程的分析来看，我们发现耗时主要集中在query阶段，由于索引前缀查询匹配到的索引的分片数量大，遍历这些分片的网络请求总耗时很高。为了降低查询延迟，结合日志场景中查询行为冷热明显的特点，我们在自治索引上做了查询裁剪优化，在查询时，协调节点可根据查询条件中指定的时间范围，结合后备索引元数据中记录的时间范围信息，提前进行数据预过滤，降低分片发送请求的数量，使得PB级日志查询性能可提高3倍以上。

查询裁剪示意图

注：理论上，所需查询的时间范围与数据总的实际时间范围差距越大，查询裁剪优势越明显。 

使用介绍

通过DSL range命令执行查询任务，示例如下：

GET /index_name/_search
{
  "query" : {
      "constant_score" : {
          "filter" : {
              "range" : {
                  "@timestamp" : {
                      "gte" : "2022-11-01T03:07:34.348+08:00",
                      "lt" : "2022-11-02T03:07:34.348+08:00"
                  }
              }
          }
      }
  }
}

‍

通过SQL方式执行查询任务，示例如下：

POST /_sql?format=txt
{
"query": "SELECT * FROM index_name WHERE @timestamp < '2022-11-01'"
}

‍

总结

本文从日志场景的查询特点出发，对ES的search流程进行了简单的分析，并介绍了查询裁剪的基本原理与使用方式。欢迎大家使用腾讯云ES与自治索引～

您可能需要的链接；

腾讯云ES：一站式索引全托管，自治索引独家特性大揭秘！

腾讯云ES：自治索引常见使用方式介绍

腾讯云ES：一站式接入，数据链路可视化重磅来袭！

腾讯云ES：通过Filebeat采集TKE容器日志

腾讯云ES：图文详解，你想了解的Elastic APM这里全都有

腾讯云ES：Elasticsearch ILM Shrink Action源码优化与探讨