5.1 ElasticSearch聚合分析之Metric

最新推荐文章于 2022-02-21 14:16:42 发布
最新推荐文章于 2022-02-21 14:16:42 发布
阅读量392 收藏
点赞数
分类专栏： 从头开始学ElasticSearch 文章标签： elasticsearch big data
未经博主同意，禁止转载。
本文链接：https://blog.csdn.net/Jgx1214/article/details/120118680
版权

1.简介
聚合分析是用来对ElasticSearch中存储的数据进行统计分析的，主要包括三种类型。
(1).Metric
指标分析类型主要分为两类，一类是单值分析，只输出一个分析结果，主要包括min、max、avg、sum和cardinality(没有count)。另一类是多值分析，可以输出多个分析结果，如stats、extended_stats、percentiles、percentile_ranks和top hits。

(2).Bucket
分桶分析类型是按照一定的规则将文档分配到不同的桶中，达到分类分析的目的，类似于sql中的group by。主要包括terms、range、date range、histogram、date histogram。

(3).Pipline
管道分析类型，基于上一级的聚合分析结果进行再分析，而且支持链式调用。pipeline的分析结果会输出到原结果中，根据输出位置的不同，主要分为两类，一类是结果与现有聚合分析同级的sibling，主要包括max、min、avg、sum bucket以及stats、extended stats、percentiles bucket。另一类是结果内嵌到现有聚合分析结果中的parent，主要包括derivative、moving average和cumulative。

(4).文档准备
打开kibana Dev Tools，分别添加索引和文档记录。

PUT /employee

{
	"settings": {
		"number_of_shards": 5,
		"number_of_replicas": 1
	}
}

PUT /employee/_mapping

{
	"properties": {
	  "name": {
			"type": "text"
		},
		"age": {
			"type": "integer"
		},
		"birthday": {
			"type": "date",
			"format": "yyyy-MM-dd"
		},
		"job": {
			"type": "keyword"
		},
		"salary": {
			"type": "float"
		}
	}
}

POST /employee/_doc

{
	"name": "James Harden",
	"job": "Java engineer",
	"age": 31,
	"salary": 30000.00,
	"birthday": "1991-01-01"
}
{
	"name": "Stephen Curry",
	"job": "Java engineer",
	"age": 27,
	"salary": 20000.00,
	"birthday": "1995-08-06"
}
{
	"name": "LeBron James",
	"job": "Technical director",
	"age": 35,
	"salary": 50000.00,
	"birthday": "1987-12-25"
}
{
	"name": "Damian Lillard",
	"job": "Vue engineer",
	"age": 25,
	"salary": 18000.00,
	"birthday": "1996-10-01"
}
{
	"name": "Kevin Durant",
	"job": "Vue engineer",
	"age": 30,
	"salary": 28000.00,
	"birthday": "1992-05-01"
}
{
	"name": "Chirs Paul",
	"job": "Java engineer",
	"age": 33,
	"salary": 29000.00,
	"birthday": "1988-12-02"
}
{
	"name": "Jason Tatum",
	"job": "Java engineer",
	"age": 24,
	"salary": 15000.00,
	"birthday": "1997-08-02"
}

2.单值查询
(1).min、max、avg、sum
min、max、avg、sum分别类似于sql中的min、max、avg、sum功能，如对salary字段进行avg查询。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_avg": {
			"avg": {
				"field": "salary"
			}
		}
	}
}

{
  "took" : 16,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_avg" : {
      "value" : 26250.0
    }
  }
}

(2).cardinality
统计不同数值的个数，类似sql中的distinct功能，如对job字段进行cardinality查询。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"job_distinct": {
			"cardinality": {
				"field": "job"
			}
		}
	}
}

{
  "took" : 28,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "job_distinct" : {
      "value" : 3
    }
  }
}

3.多值查询
(1).stats
返回一系列数值类型的统计值，包含min、max、avg、sum和count，如对salary字段进行stats查询。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_stats": {
			"stats": {
				"field": "salary"
			}
		}
	}
}

{
  "took" : 11,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_stats" : {
      "count" : 8,
      "min" : 15000.0,
      "max" : 50000.0,
      "avg" : 26250.0,
      "sum" : 210000.0
    }
  }
}

(2).extended_stats
对stats的扩展，包含了更多的统计数据，如平方和(sum_of_squares)、方差(variance)、标准差(std_deviation)和标准差范围(std_deviation_bounds)，如对salary字段进行extended_stats查询。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_extended_stats": {
			"extended_stats": {
				"field": "salary"
			}
		}
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_extended_stats" : {
      "count" : 8,
      "min" : 15000.0,
      "max" : 50000.0,
      "avg" : 26250.0,
      "sum" : 210000.0,
      "sum_of_squares" : 6.374E9,
      "variance" : 1.076875E8,
      "std_deviation" : 10377.25879025863,
      "std_deviation_bounds" : {
        "upper" : 47004.51758051726,
        "lower" : 5495.4824194827415
      }
    }
  }
}

(3).percentiles
百分位数统计，通常用于统计数据分布情况，如对salary字段进行percentiles查询。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_percentiles": {
			"percentiles": {
				"field": "salary"
			}
		}
	}
}

{
  "took" : 18,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_percentiles" : {
      "values" : {
        "1.0" : 15000.0,
        "5.0" : 15000.0,
        "25.0" : 19000.0,
        "50.0" : 24000.0,
        "75.0" : 29500.0,
        "95.0" : 50000.0,
        "99.0" : 50000.0
      }
    }
  }
}

百分位数统计名称解释:高等院校的入学考试成绩经常以百分位数的形式统计。假设某个考生在入学考试中的语文原始分数为54分。相对于参加同一考试的其他学生来说，并不容易知道他的成绩如何。但是如果原始分数54分恰好对应的是第70百分位数，我们就能知道大约70％的学生的考分比他低，而约30％的学生考分比他高。

(4).percentile_ranks
百分位数统计的逆操作，返回值所在的百分位，如对salary字段，查询其值为28000和30000的百分位。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_percentile_ranks": {
			"percentile_ranks": {
				"field": "salary",
				"values": [28000,30000]
			}
		}
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_percentile_ranks" : {
      "values" : {
        "28000.0" : 61.111111111111114,
        "30000.0" : 75.59523809523809
      }
    }
  }
}

(5).top_hits
一般用于分桶后获取该桶内最匹配文档的顶部文档列表，即详情数据，如获取salary字段前3个详情。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_top_hits": {
			"top_hits": {
				"size": 3,
				"sort": [{
					"salary": {
						"order": "desc"
					}
				}]
			}
		}
	}
}

{
  "took" : 363,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_top_hits" : {
      "hits" : {
        "total" : {
          "value" : 7,
          "relation" : "eq"
        },
        "max_score" : null,
        "hits" : [
          {
            "_index" : "employee",
            "_type" : "_doc",
            "_id" : "w4l1hnsBEsHOdz1YM8pq",
            "_score" : null,
            "_source" : {
              "name" : "LeBron James",
              "job" : "Technical director",
              "age" : 35,
              "salary" : 50000.0,
              "birthday" : "1987-12-25"
            },
            "sort" : [
              50000.0
            ]
          },
          {
            "_index" : "employee",
            "_type" : "_doc",
            "_id" : "wYl0hnsBEsHOdz1Y4cqT",
            "_score" : null,
            "_source" : {
              "name" : "James Harden",
              "job" : "Java engineer",
              "age" : 31,
              "salary" : 30000.0,
              "birthday" : "1991-01-01"
            },
            "sort" : [
              30000.0
            ]
          },
          {
            "_index" : "employee",
            "_type" : "_doc",
            "_id" : "xol1hnsBEsHOdz1YXcqt",
            "_score" : null,
            "_source" : {
              "name" : "Chirs Paul",
              "job" : "Java engineer",
              "age" : 33,
              "salary" : 29000.0,
              "birthday" : "1988-12-02"
            },
            "sort" : [
              29000.0
            ]
          }
        ]
      }
    }
  }
}
lwen.steven
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch(三)--Metric(指标)
qq_44447372的博客
08-01 1458
1,概念 理解四个关键字:Metric(指标),Bucketing(桶),Matrix(矩阵),Pipeline(管道).其中Metric(指标),Bucketing(桶)应用最为广泛.文档也就是json对象 Bucket(桶): 满足特定条件的文档的集合，类似SQL中的GROUP BY语法(按照性别进行分组) Metric(指标): 指标分析类型对桶内的文档进行聚合分析的操作)，如计算最大值、最小值、平均值等等(类似于分组后计算组内的最大值与最小值) ES聚合分析查询的一般写法 "agg...
边学边实战系列（十五）：ElasticSearch 性能监控
最新发布
民工哥的博客
06-07 1181
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了集群部署、备份和迁移、集群规划与运维、分片与副本、常用命令、可视化工具、性能优化相关的知识点。今天我将详细的为大家介绍 ElasticSearch 性能监控相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！我们要监控哪些Elasticsearch metricElasticsearch 提供了大量的 Metric，...
es查询总结
qq_43524132的博客
04-11 393
term的多种查询 关键字 用处 term 精准查询 exists 特定字段非空 prefix 包含前缀 wildcard 通配符查询 regexp 正则表达式查询( ids 多值查询 范围查询 gte—lte 范围为时间时，用format"dd-MM-yyyy" 布尔查询 type description must(must_not)...
Elasticsearch(8) --- 聚合查询(Metric聚合)
a8892117的博客
09-21 950
Elasticsearch(8) --- 聚合查询(Metric聚合) 在Mysql中，我们可以获取一组数据的 最大值(Max)、最小值(Min)。同样我们能够对这组数据进行 分组(Group)。那么对于Elasticsearch中 我们也可以实现同样的功能，聚合有关资料官方文档内容较多，这里大概分3篇或者4篇博客写这个有关Elasticsearch聚合。 官方对聚合有四个关键字: M...
进阶-第37__深入聚合数据分析_掌握更多metrics：统计每种颜色电视最大最小价格
qq_35524586的博客
03-15 119
要学更多的metric count，avg，max,min,sum count：bucket，terms，自动就会有一个doc_count，就相当于是count avg：avg aggs，求平均值 max：求一个bucket内，指定field值最大的那个数据 min：求一个bucket内，指定field值最小的那个数据 sum：求一个bucket内，指定field值的总和 ...
Elasticsearch聚合分析实战(2)
01-07
Elasticsearch聚合分析实战(2) 本文在前文基础上进一步通过学习度量分析和分组分析。示例数据可以点击这里下载。 环境准备 系统中提供1000条employee数据，读者可以通过POST /employees/_bulk命令批量插入至elastic...
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
Elasticsearch聚合 之 Terms
06-19
Elasticsearch聚合 之 Terms
elasticsearch5.1
01-10
elasticsearch5.1
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
Elasticsearch聚合分析(一)——Metric聚合分析 2021/5/25
LiGuanLink的博客
05-25 582
Elasticsearch聚合分析 什么是聚合分析 简介： 聚合分析，英文为Aggregation，是es除搜索功能外提供的针对es数据做统计分析的功能 ES提供多种分析方式： Bucket、Metric、Pipeline 等 Bucket，分桶类型，类似SQL语法中的group by语法。 Metric，指标分析类型，如计算最大值，最小值，平均值等等。 Pipeline，管道分析类型，基于上一级的聚合分析结果进行再分析。 Matrix，矩阵分析类型。 Metric聚合分析 Metric分析分类 1
Elasticsearch --- 聚合查询 - Metric （二）
悟能的师兄的专栏
09-16 8485
一：聚合查询-Metric 官网: 指标聚合官网文档：Metric Metric聚合分析分为单值分析和多值分析两类： #1、单值分析，只输出一个分析结果 min,max,avg,sum,cardinality #2、多值分析，输出多个分析结果 stats,extended_stats,percentile,percentile_rank,top hits 二：Metric使用 1、Avg(平均值) 计算从聚合文档中提取的数值的平均值。 POST /exams/_search?size=0
Elasticsearch 7.X-8.0 AggregationBuliders 相关聚合函数（一）计数指标-百分位数
Darling_Jiang的博客
02-21 1117
默认统计的百分位数为：[ 1, 5, 25, 50, 75, 95, 99 ] ‎百分位数通常用于查找异常值。在正态分布中，第 0.13 和第 99.87 百分位数表示与均值的三个标准差。任何超出三个标准差的数据通常被视为异常。‎ percentileRanks medianAbsoluteDeviation cardinality ..
Elasticsearch聚合初步了解(后续会继续更新)
Ω搬Θ砖O
08-11 352
聚合 聚合返回基于query 查询的结果进行聚合计算后的数据。有以下四大类： 桶 支持脚本。一些列构造桶的聚合，每个桶都与一个key和一个文档分类标准相关联。当聚合执行时，所有的文档分类标准(依据)对每个文档进行判断，将其分类到其满足的桶中。此类聚合执行的结果是：我们得到了桶的集合，每个桶内都含有满足该桶分类依据的文档。 桶聚合可以有子聚合(桶聚合或者指标聚合) 指标 支持脚本。...
Elasticsearch聚合之指标聚合metrics
大牛之路
06-13 4182
指标聚合的意思是指此系列中的聚合基于从正在聚合的文档中以某种方式提取的值来计算度量标准。 这些值通常从文档的字段中提取（使用字段数据），但也可以使用脚本生成。例如说数据的平均值，最大值，最小值等等，就是一项统计数据。 基本语法 一般常用的语句是这样的： { "size":0,一般只是为了统计数据，就没必要查询元数据了，设为0就好 "query":{ 加上你的查询条件，可选...
Elasticsearch聚合初探——metric篇
xingoo
11-07 467
Elasticsearch是一款提供检索以及相关度排序的开源框架，同时，也支持对存储的文档进行复杂的统计——聚合。 前言 ES中的聚合被分为两大类：Metric度量和bucket桶（原谅我英语差，找不到合适的词语.....就用单词来说吧！）。说的通俗点，metric很像SQL中的avg、max、min等方法，而bucket就有点类似group by了。 本篇就简单的介绍一下metri...
ES度量聚合(ElasticSearch Metric Aggregations)
中间件兴趣圈
03-09 7447
从本篇将开始进入ES系列的聚合部分(Aggregations)。 本篇重点介绍Elasticsearch Metric Aggregations(度量聚合)。 Metric聚合，主要针对数值类型的字段，类似于关系型数据库中的sum、avg、max、min等聚合类型。 本例基于如下索引进行试验： public static void createMapping_agregations() { R...
ElasticSearch Scripted Metric
littleVv
09-29 4035
官方文档上关于这一部分的介绍，只有个简单的demo
Elasticsearch 性能监控基础
Mr.Sun
07-07 2474
本文的来源是我翻译他人的一篇技术博客，感谢原作者Emily Chang 原文地址 下面让我们一起来学习Elasticsearch一、Elasticsearch 是什么Elasticsearch是一款用Java编写的开源分布式文档存储和搜索引擎，可以用于near real-time存储和数据检索。1、Elasticsearch简要组成在开始探索性能指标之前，让我们来看看Elasticsearch的
操作es聚合操作并显示其他字段_Elasticsearch 之聚合分析入门
05-17
在 Elasticsearch 中，聚合操作是一种非常强大的数据分析工具，可以从数据中提取有意义的信息，帮助我们更好地了解数据。下面是一个简单的例子，演示如何使用聚合操作并显示其他字段。 假设你有一个存储了用户行为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值