es 第20节-运用指标聚合快速统计数值

Elasticsearch聚合功能详解与指标聚合建议

DavidSoCool

已于 2025-04-08 20:35:52 修改

阅读量1k

点赞数 11

CC 4.0 BY-SA版权

分类专栏： elasticsearch 文章标签： elasticsearch 大数据搜索引擎

于 2025-01-01 22:43:00 首次发布

本文链接：https://blog.csdn.net/DavidSoCool/article/details/144873295

elasticsearch 专栏收录该内容

40 篇文章

订阅专栏

#### 1.Elasticsearch是数据库，不是普通的Java应用程序，传统数据库需要的硬件资源同样需要，提升性能最有效的就是升级硬件。
#### 2.Elasticsearch是文档型数据库，不是关系型数据库，不具备严格的ACID事务特性，任何企图直接替代严格事务性场景的应用项目都会失败!!!

##### 索引字段与属性都属于静态设置，若后期变更历史数据需要重建索引才可生效
##### 对历史数据无效！！！！
##### 一定要重建索引！！！！

#### 1、aggs聚合概念介绍
### 聚合概念介绍
## 1.前面学习的都是ES查询数据，俗称明细查询;聚合就是统计分析，基于明细数据深入统计，按照不同的业务需求维度
## 2.ClickHouse vs Elasticsearch

### 聚合底层存储
## 1.Doc_values:ES内部使用列式存储机制
## 2.OLTP/OLAP/HTAP
## 3.凡是row-based数据产品都不适合做数据分析

### 聚合执行过程
## 1.客户端发送聚合请求
## 2.协调节点分发聚合请求
## 3.协调节点合并聚合结果
## 4.协调节点返回聚合结果
## 5.MPP(大规模并行处理)执行过程

### 聚合类型划分
## metric 数值指标聚合统计
## bucket 分桶分组聚合统计
## pipeline 管道二次聚合统计
## Matrix(数值)矩阵计算聚合统计（划分到数值里面了）

#### 2、metric数值聚合实战
### Metric聚合函数
## 1:仅限多种类似数值统计
## 2:包括单值/多值

### 初体验聚合
## 聚合关键字
# Aggs
# 聚合层级限制支持多层级，
# 聚合便利
# 1.可查询明细数据、过滤数据
# 2.可分页查询
# 3.可返回总数
# 4.可聚合统计

# 查询统计
# 便利性体现在，一个查询语句可以拿到总数、行数据、统计数据，相对传统数据库来说要执行3次sql才能做到

GET kibana_sample_data_ecommerce/_search
{
  // 从第0个开始返回明细
  "from":0,
  // 返回2个明细数据
  "size":2,
  // 返回总行数
  "track_total_hits":true,
  // 过滤条件
  "query":{
    "term": {
      "day_of_week": {
        "value": "Monday"
      }
    }
  },
  "aggs":{
    "sum_taxful_total_price":{
      // 总和
      "sum": {
        "field": "taxful_total_price"
      }
    }
  }
}

### 常用指标聚合
## 数值统计
# 聚合函数Sum/max/min/avg/stats/extended_stats
# 单个值的数值统计
# 浮点数值统计精确性问题

# 注意 taxful_total_price字段是float类型，数据本身只有2为小数，统计后会产生多小数，这是因为es底层是java写的，java自带的问题

GET kibana_sample_data_ecommerce/_search
{
  // size=0，明确表示不需要返回明细数据，好习惯
  "size":0,
  "track_total_hits":true,
  "aggs":{
    "sum_taxful_total_price":{
      // 总和
      "sum": {
        "field": "taxful_total_price",
        // 防止字段缺失或数据为null的情况，使用0填补
        // 这是个好习惯（字段缺失对es来说不友好）
        "missing": 0
      }
    },
    "avg_taxful_total_price":{
      // 平均值
      "avg": {
        "field": "taxful_total_price"
      }
    },
    "max_taxful_total_price":{
      // 最大值
      "max": {
        "field": "taxful_total_price"
      }
    },
    "min_taxful_total_price":{
      // 最小值
      "min": {
        "field": "taxful_total_price"
      }
    }
  }
}

## stats 多种类型统计
# 查询结果里count、min、max、avg、sum都返回的

GET kibana_sample_data_ecommerce/_search
{
  // size=0，明确表示不需要返回明细数据，好习惯
  "size":0,
  "track_total_hits":true,
  "aggs":{
    "stats_taxful_total_price":{
      // 多种类型统计,查询结果里count、min、max、avg、sum都返回的
      "stats": {
        "field": "taxful_total_price",
        // 防止字段缺失或数据为null的情况，使用0填补
        // 这是个好习惯（字段缺失对es来说不友好）
        "missing": 0
      }
    }
  }
}

## extended_stats 类型统计
# 在stats扩展了更多的统计方式

GET kibana_sample_data_ecommerce/_search
{
  // size=0，明确表示不需要返回明细数据，好习惯
  "size":0,
  "track_total_hits":true,
  "aggs":{
    "extended_stats_taxful_total_price":{
      // 扩展多种类型统计
      "extended_stats": {
        "field": "taxful_total_price",
        // 防止字段缺失或数据为null的情况，使用0填补
        // 这是个好习惯（字段缺失对es来说不友好）
        "missing": 0
      }
    }
  }
}

### 百分比统计
# 聚合函数
# percetiles，计算数据的百分位占比，常见场景为计算响应时间的百分位数

## es 提供了两种不同的算法来计算百分位数：
# tdigest（默认）：使用 T-Digest 算法，适合处理大数据集，能够在较小的内存占用下提供较高的精度。
# hdr：使用 HDR（High Dynamic Range）直方图算法，适合需要极高精度的场景，但可能会占用更多的内存。
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics-percentile-aggregation.html
# tdigest 和 hdr 算法都允许你通过 compression 参数来调整精度和内存占用之间的平衡。较大的 compression 值会提高精度，但也会增加内存消耗。

GET kibana_sample_data_ecommerce/_search
{
  // size=0，明确表示不需要返回明细数据，好习惯
  "size":0,
  "track_total_hits":true,
  "aggs":{
    "percentiles_taxful_total_price":{
      // 扩展多种类型统计,
      "percentiles": {
        "field": "taxful_total_price",
        // percents 默认就是下面的百分比区间，可以不写，范围在0到100
        "percents": [1, 5, 25, 50, 75, 95, 99],
        // 不同的返回格式，默认true
        "keyed":true,
        "tdigest":{
          // 默认100
           "compression": 100
        }
      }
    }
  }
}
## 响应结果解释
# {
#   "aggregations": {
#     "percentiles_taxful_total_price": {
#       "values": {
#         "1.0": 21.984375, // 有 1% 的数据小于等于21.984375
#         "5.0": 27.984375, // 有 5% 的数据小于等于27.984375
#         "25.0": 44.96875, // 有 25% 的数据小于等于44.96875
#         "50.0": 63.96875, // 有 50% 的数据小于等于63.96875
#         "75.0": 93.03563731527095, // 有 75% 的数据小于等于93.03563731527095
#         "95.0": 156, // 有 95% 的数据小于等于156
#         "99.0": 222 // 有 99% 的数据小于等于222
#       }
#     }
#   }
# }

## 使用hdr高精度的统计
# number_of_significant_value_digits 有效数字精度值，默认值3
# 较高的值：保留更多的有效数字，计算结果更精确，但可能会占用更多的内存和计算资源。
# 较低的值：保留较少的有效数字，计算结果的精度较低，但可以减少内存占用和提高性能。

GET kibana_sample_data_ecommerce/_search
{
  // size=0，明确表示不需要返回明细数据，好习惯
  "size":0,
  "track_total_hits":true,
  "aggs":{
    "percentiles_taxful_total_price":{
      // 扩展多种类型统计,
      "percentiles": {
        "field": "taxful_total_price",
        "percents": [1, 5, 25, 50, 75, 95, 99],
        "hdr": {
          "number_of_significant_value_digits": 3
        }
      }
    }
  }
}

## percentile_ranks
# 根据提供的一个或多个具体值，返回这些值在数据集中的百分位位置

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "percentiles_ranks_taxful_total_price": {
      "percentile_ranks": {
        "field": "taxful_total_price",
        "values": [50, 100, 200]  // 要计算百分位排名的具体值
      }
    }
  }
}
# 响应结果解析
# 应用场景，今年花费了了xxx元，打败了百分之多少的人
# {
#   "aggregations": {
#     "percentiles_ranks_taxful_total_price": {
#       "values": {
#         "50.0": 34.56951871657754, // 50这个值大约位于第 34.56951871657754 百分位
#         "100.0": 79.31550802139039, // 100这个值大约位于第 79.31550802139039 百分位
#         "200.0": 98.43850267379679 // 200这个值大约位于第 98.43850267379679 百分位
#       }
#     }
#   }
# }

## cardinality 基数统计
# 聚合函数
# carintility:背后的算法Hyperloglog，该算法是非精确型的，默认3000个，ES最高支持40000个，超过了就是非精确型的
# 用于去重统计，如电商UV/PV
# precision_threshold 准确的阈值，默认3000，低于该计数预计将接近准确。超过这个值，计数可能会变得有点模糊。支持的最大值是40000
# https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-cardinality-aggregation.html

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "cardinality_customer_id": {
      "cardinality": {
        // 用户id维度去重，相当于uv
        "field": "customer_id",
        // 默认值3000
        "precision_threshold": 3000
      }
    }
  }
}

## value_count 字段值数量统计
# 数据值条数统计，没有去重

# 数值统计里面有多少条数据，当统计层级多的时候很有用

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "cardinality_customer_id": {
      "value_count": {
        // 用户id维度去重，相当于uv
        "field": "customer_id"
      }
    }
  }
}

## string_stats 字符串统计
# 聚合函数
# string_stats仅限keyword类型

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "string_stats_customer_full_name": {
      "string_stats": {
        "field": "customer_full_name.keyword"
      }
    }
  }
}

### 脚本聚合
# 聚合函数
# Script
# 脚本能少用就少用，非必要不使用

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "avg_script_customer_full_name": {
      "avg": {
        "script": {
          "source": """
          doc['taxful_total_price'].value*10000;
          """
        }
      }
    }
  }
}

### 聚合分组明细数据
# 聚合函数
# top_hits,分组分桶查询时，设返回每组的top明细数据

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "my_customer_id": {
      "terms": {
        // 根据用户id聚合
        "field": "customer_id",
        // 返回10条
        "size": 10
      },
      "aggs": {
        "NAME": {
          "top_hits": {
            // 每个聚合结果里返回一条明细数据
            "size": 1
          }
        }
      }
    }
  }
}

### 头部指标聚合数据
# 聚合函数
# top_metrics

GET kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "track_total_hits":true,
  "aggs": {
    "my_customer_id": {
      "terms": {
        // 根据用户id聚合
        "field": "customer_id",
        // 返回10条
        "size": 10
      },
      "aggs": {
        "NAME": {
          "top_metrics": {
            "metrics": [
              { "field": "taxful_total_price" }  // 指定要提取的指标字段
            ],
            "sort": [  // 指定排序条件
              { "taxful_total_price": {"order": "desc"}}  // 按某个字段降序排序,返回值就是最大的
            ]
          }
        }
      }
    }
  }
}

### 其它数据聚合
# 聚合函数Geo.xxx，地理位置聚合
# Weight AVG 权重指标聚合

#### 3、指标聚合建议与经验分享
## 聚合、明细查询、总数量
## 聚合与分片数量的关系（最好不要多个分片，但分片最好，es单分片支持<=65gb）
## 聚合列数数量与性能（同时统计多个指标看下对性能的影响）
## 聚合性能与缓存（希望聚合有缓存的话就每次都去查询同一个分片）
# 分片缓存
# 利用分片缓存，原则是尽量将查询分布在同一分片上，而不是利用ES自动选择分片的机制
# preference，分片选择参数，固定值local，或者固定分片编号
# GET kibana_sample_data_ecommerce/_search?preference=_local
## 聚合与浮点类型精确度
# 在数值聚合时，特别要注意 float与 double 类型，ES 是基于 Java 编写，会出现精度问题
# 尽量采用 long 类型或者其它数值类型来避免此精度问题
# ES 执行指标统计时底层采用 double 类型来构建，数值过长是基于近似，而非精确类型
## 聚合数值长度（最长支持long类型2的63次方）

# aggs 聚合
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations.html
# 指标聚合
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics.html
# top-hits 聚合明细
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics-top-hits-aggregation.html
# top-metrics 聚合明细数值
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics-top-metrics.html
# 分片缓存
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/shard-request-cache.html
# collapse 查询结果折看
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/collapse-search-results.html