[Elasticsearch] 聚合中的重要概念 - Buckets(桶)及Metrics(指标)

本章翻译自Elasticsearch官方指南的Aggregations-High-level Concepts一章。


高层概念(High-Level Concepts)

和查询DSL一样,聚合(Aggregations)也拥有一种可组合(Composable)的语法:独立的功能单元可以被混合在一起来满足你的需求。这意味着需要学习的基本概念虽然不多,但是它们的组合方式是几近无穷的。

为了掌握聚合,你只需要了解两个主要概念:

Buckets(桶):

满足某个条件的文档集合。

Metrics(指标):

为某个桶中的文档计算得到的统计信息。

就是这样!每个聚合只是简单地由一个或者多个桶,零个或者多个指标组合而成。可以将它粗略地转换为SQL:

SELECT COUNT(color) 
FROM table
GROUP BY color

以上的COUNT(color)就相当于一个指标。GROUP BY color则相当于一个桶。

桶和SQL中的组(Grouping)拥有相似的概念,而指标则与COUNT(),SUM(),MAX()等相似。

让我们仔细看看这些概念。


桶(Buckets)

一个桶就是满足特定条件的一个文档集合:

  • 一名员工要么属于男性桶,或者女性桶。
  • 城市Albany属于New York州这个桶。
  • 日期2014-10-28属于十月份这个桶。

随着聚合被执行,每份文档中的值会被计算来决定它们是否匹配了桶的条件。如果匹配成功,那么该文档会被置入该桶中,同时聚合会继续执行。

桶也能够嵌套在其它桶中,能让你完成层次或者条件划分这些需求。比如,Cincinnati可以被放置在Ohio州这个桶中,而整个Ohio州则能够被放置在美国这个桶中。

ES中有很多类型的桶,让你可以将文档通过多种方式进行划分(按小时,按最流行的词条,按年龄区间,按地理位置,以及更多)。但是从根本上,它们都根据相同的原理运作:按照条件对文档进行划分。


指标(Metrics)

桶能够让我们对文档进行有意义的划分,但是最终我们还是需要对每个桶中的文档进行某种指标计算。分桶是达到最终目的的手段:提供了对文档进行划分的方法,从而让你能够计算需要的指标。

多数指标仅仅是简单的数学运算(比如,min,mean,max以及sum),它们使用文档中的值进行计算。在实际应用中,指标能够让你计算例如平均薪资,最高出售价格,或者百分之95的查询延迟。


将两者结合起来

一个聚合就是一些桶和指标的组合。一个聚合可以只有一个桶,或者一个指标,或者每样一个。在桶中甚至可以有多个嵌套的桶。比如,我们可以将文档按照其所属国家进行分桶,然后对每个桶计算其平均薪资(一个指标)。

因为桶是可以嵌套的,我们能够实现一个更加复杂的聚合操作:

  1. 将文档按照国家进行分桶。(桶)
  2. 然后将每个国家的桶再按照性别分桶。(桶)
  3. 然后将每个性别的桶按照年龄区间进行分桶。(桶)
  4. 最后,为每个年龄区间计算平均薪资。(指标)

此时,就能够得到每个<国家,性别,年龄>组合的平均薪资信息了。它可以通过一个请求,一次数据遍历来完成!



### Elasticsearch 聚合功能简介 Elasticsearch聚合功能是一种强大的工具,能够帮助用户对数据集进行复杂的分析和统计操作。它不仅继承了旧版 `facets` 功能的优点,还在性能和灵活性上进行了显著提升[^2]。 #### 指标聚合与存储聚合的区别 在 Elasticsearch 中,聚合分为两大类:**指标聚合 (Metrics Aggregation)** 和 **存储聚合 (Bucket Aggregation)**。 - **指标聚合** 主要用于计算数值型字段的统计数据,例如平均值 (`avg`)、总和 (`sum`)、最大值 (`max`) 等[^1]。 - **存储聚合** 则负责将文档划分为不同的分组(即“”),并对这些分组进一步应用其他类型的聚合[^3]。 以下是具体的使用案例: --- ### 官方示例解析 官方提供了如下复合聚合的例子[^4]: ```json GET /_search { "size": 0, "aggs": { "my_buckets": { "composite": { "size": 2, "sources": [ { "date": { "date_histogram": { "field": "timestamp", "calendar_interval": "1d" } } }, { "product": { "terms": { "field": "product" } } } ] } } } } ``` 此查询的作用是基于时间戳字段 (`timestamp`) 创建每日的时间直方图,并按产品名称 (`product`) 进行分类。最终返回的结果会显示每种产品的日销售情况,最多展示两个组合结果。 --- ### 自定义示例:计算订单金额的平均值 假设有一个索引名为 `orders`,其中包含以下字段: - `order_id`: 订单 ID - `amount`: 订单金额 - `status`: 订单状态(如 `"completed"` 或 `"pending"`) 我们可以编写一个简单的聚合来计算已完成订单的平均金额: ```json GET /orders/_search { "size": 0, "query": { "term": { "status.keyword": "completed" } }, "aggs": { "average_amount": { "avg": { "field": "amount" } } } } ``` 上述查询通过过滤条件筛选出状态为 `"completed"` 的订单,并对其金额字段求取平均值。 --- ### 嵌套聚合示例:按地区统计销售额 如果需要更复杂的功能,比如按照地区划分并分别统计各地区的销售额,则可以采用嵌套聚合的方式: ```json GET /sales/_search { "size": 0, "aggs": { "by_region": { "terms": { "field": "region.keyword" }, "aggs": { "total_sales": { "sum": { "field": "revenue" } } } } } } ``` 这段代码首先根据 `region` 字段将数据分成多个区域,然后针对每个区域内的收入字段 (`revenue`) 执行累加运算。 --- ### 性能优化建议 当处理大规模数据时,应考虑以下几个方面以提高效率: 1. 设置合理的 `shard_size` 参数,避免过多的小分区影响速度; 2. 对于高基数字段(Cardinality 较高的字段),谨慎选择合适的算法; 3. 如果可能的话,预先构建好所需的维度字段作为关键字类型 (`keyword`),从而减少运行时开销。 ---
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值