5.2 ElasticSearch聚合分析之Bucket

最新推荐文章于 2023-05-29 08:21:52 发布
最新推荐文章于 2023-05-29 08:21:52 发布
阅读量383 收藏 1
点赞数
分类专栏： 从头开始学ElasticSearch 文章标签： elasticsearch
未经博主同意，禁止转载。
本文链接：https://blog.csdn.net/Jgx1214/article/details/120118694
版权

1.terms
该分桶策略最简单，直接按照term来分桶，如果是text类型，则按照分词后的结果分桶(field的值需要设置为field_name.keyword)，如对salary字段进行分桶。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_terms": {
			"terms": {
				"field": "salary",
				"size": 10
			}
		}
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "aggs_name" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 20000.0,
          "doc_count" : 2
        },
        {
          "key" : 15000.0,
          "doc_count" : 1
        },
        {
          "key" : 18000.0,
          "doc_count" : 1
        },
        {
          "key" : 28000.0,
          "doc_count" : 1
        },
        {
          "key" : 29000.0,
          "doc_count" : 1
        },
        {
          "key" : 30000.0,
          "doc_count" : 1
        },
        {
          "key" : 50000.0,
          "doc_count" : 1
        }
      ]
    }
  }
}

2.range
通过指定数值的范围来设定分桶规则，如对salary字段按照小于18000、大于等于18000并且小于30000、大于等于30000三种情况分桶。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_range": {
			"range": {
				"field": "salary",
				"ranges": [{
						"key": "小于18000",
						"to": 18000
					},
					{
						"key": "大于等于18000并且小于30000",
						"from": 20000,
						"to": 30000
					},
					{
						"key": "大于等于30000",
						"from": 30000
					}
				]
			}
		}
	}
}

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_range" : {
      "buckets" : [
        {
          "key" : "小于18000",
          "to" : 18000.0,
          "doc_count" : 1
        },
        {
          "key" : "大于等于18000并且小于30000",
          "from" : 20000.0,
          "to" : 30000.0,
          "doc_count" : 4
        },
        {
          "key" : "大于等于30000",
          "from" : 30000.0,
          "doc_count" : 2
        }
      ]
    }
  }
}

3.date_range
通过指定日期的范围来设定分桶规则，如对birthday字段按照"1980-9990"以及"1990-2020"两个时间段来分桶。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"birthday_date_range": {
			"date_range": {
				"field": "birthday",
				"format": "yyyy",
				"ranges": [{
						"from": "1980",
						"to": "1990"
					},
					{
						"from": "1990",
						"to": "2020"
					}
				]
			}
		}
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "birthday_date_range" : {
      "buckets" : [
        {
          "key" : "1980-1990",
          "from" : 3.155328E11,
          "from_as_string" : "1980",
          "to" : 6.31152E11,
          "to_as_string" : "1990",
          "doc_count" : 2
        },
        {
          "key" : "1990-2020",
          "from" : 6.31152E11,
          "from_as_string" : "1990",
          "to" : 1.5778368E12,
          "to_as_string" : "2020",
          "doc_count" : 5
        }
      ]
    }
  }
}

from和to在指定日期时，可以使用date match。

4.historgram
直方图，以固定间隔的策略来分割数据，如对salary字段按照5000的间隔进行分桶。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"salary_histogram": {
			"histogram": {
				"field": "salary",
				"interval": 5000,
				"min_doc_count": 1,
				"extended_bounds": {
					"min": 10000,
					"max": 50000
				}
			}
		}
	}
}
  • interval:间隔数值
  • min_doc_count:直方图区间内最小文档个数
  • extended_bounds:指定数据范围
{
  "took" : 14,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "salary_histogram" : {
      "buckets" : [
        {
          "key" : 15000.0,
          "doc_count" : 2
        },
        {
          "key" : 20000.0,
          "doc_count" : 2
        },
        {
          "key" : 25000.0,
          "doc_count" : 2
        },
        {
          "key" : 30000.0,
          "doc_count" : 1
        },
        {
          "key" : 50000.0,
          "doc_count" : 1
        }
      ]
    }
  }
}

5.date_historgram
针对日期的直方图或者柱状图，是时序数据分析中常用的聚合分析类型，如对birthday字段按照3660天(10年)的间隔进行分桶。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"birthday_date_histogram": {
			"date_histogram": {
				"field": "birthday",
				"fixed_interval": "3660d",
				"min_doc_count": 1,
				"format": "yyyy",
				"extended_bounds": {
		          	"min": 1980,
		          	"max": 2020
			    }
			}
		}
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "birthday_date_histogram" : {
      "buckets" : [
        {
          "key_as_string" : "1980",
          "key" : 316224000000,
          "doc_count" : 2
        },
        {
          "key_as_string" : "1990",
          "key" : 632448000000,
          "doc_count" : 5
        }
      ]
    }
  }
}

6.Bucket + Metric
(1).简介
bucket聚合分析允许通过添加子分析来进一步分析，该子分析可以是metric也可以是bucket。

(2).分桶后再分桶
如先对职位进行分桶，然后再对年龄进行分桶。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"job_terms": {
			"terms": {
				"field": "job",
				"size": 10
			},
			"aggs": {
				"age_range": {
					"range": {
						"field": "age",
						"ranges": [{
								"to": 25
							},
							{
								"from": 25,
								"to": 35
							},
							{
								"from": 35
							}
						]
					}
				}
			}
		}
	}
}

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "job_terms" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Java engineer",
          "doc_count" : 4,
          "age_range" : {
            "buckets" : [
              {
                "key" : "*-25.0",
                "to" : 25.0,
                "doc_count" : 1
              },
              {
                "key" : "25.0-35.0",
                "from" : 25.0,
                "to" : 35.0,
                "doc_count" : 3
              },
              {
                "key" : "35.0-*",
                "from" : 35.0,
                "doc_count" : 0
              }
            ]
          }
        },
        {
          "key" : "Vue engineer",
          "doc_count" : 2,
          "age_range" : {
            "buckets" : [
              {
                "key" : "*-25.0",
                "to" : 25.0,
                "doc_count" : 0
              },
              {
                "key" : "25.0-35.0",
                "from" : 25.0,
                "to" : 35.0,
                "doc_count" : 2
              },
              {
                "key" : "35.0-*",
                "from" : 35.0,
                "doc_count" : 0
              }
            ]
          }
        },
        {
          "key" : "Technical director",
          "doc_count" : 1,
          "age_range" : {
            "buckets" : [
              {
                "key" : "*-25.0",
                "to" : 25.0,
                "doc_count" : 0
              },
              {
                "key" : "25.0-35.0",
                "from" : 25.0,
                "to" : 35.0,
                "doc_count" : 0
              },
              {
                "key" : "35.0-*",
                "from" : 35.0,
                "doc_count" : 1
              }
            ]
          }
        }
      ]
    }
  }
}

(3).分桶后进行数据分析
先对职位进行分桶，然后再对薪水进行分析。

POST /employee/_search

{
	"size": 0,
	"aggs": {
		"job_terms": {
			"terms": {
				"field": "job",
				"size": 10
			},
			"aggs": {
				"salary_stats": {
					"stats": {
						"field": "salary"
					}
				}
			}
		}
	}
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "job_terms" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Java engineer",
          "doc_count" : 4,
          "salary_stats" : {
            "count" : 4,
            "min" : 15000.0,
            "max" : 30000.0,
            "avg" : 23500.0,
            "sum" : 94000.0
          }
        },
        {
          "key" : "Vue engineer",
          "doc_count" : 2,
          "salary_stats" : {
            "count" : 2,
            "min" : 18000.0,
            "max" : 28000.0,
            "avg" : 23000.0,
            "sum" : 46000.0
          }
        },
        {
          "key" : "Technical director",
          "doc_count" : 1,
          "salary_stats" : {
            "count" : 1,
            "min" : 50000.0,
            "max" : 50000.0,
            "avg" : 50000.0,
            "sum" : 50000.0
          }
        }
      ]
    }
  }
}
lwen.steven
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch aggregations 之一：引入buckets、metrics
w1346561235的博客
09-24 1274
今天聊聊elasticsearch的聚合aggregation功能。 在解释elasticsearch的时候，都喜欢将es与关系数据库做对比参照，一来大部分coder对关系数据库都有或多或少了解，基本的关系模型、select功能都清楚；二来忽略内部实现如何，就表现出来的功能而言，两者也有可比之处。将两者作对比，可以帮助es新人更好的了解、使用es。接下来就看看两者的aggregation对比如何...
Elasticsearch聚合分析实战(2)
01-07
Elasticsearch聚合分析实战(2) 本文在前文基础上进一步通过学习度量分析和分组分析。示例数据可以点击这里下载。 环境准备 系统中提供1000条employee数据，读者可以通过POST /employees/_bulk命令批量插入至elastic...
[Elasticsearch] 聚合中的重要概念 - Buckets(桶)及Metrics(指标)
热门推荐
不忘初心，好好沉淀
01-04 3万+
本章翻译自Elasticsearch官方指南的Aggregations-High-level Concepts一章。 高层概念(High-Level Concepts) 和查询DSL一样，聚合(Aggregations)也拥有一种可组合(Composable)的语法：独立的功能单元可以被混合在一起来满足你的需求。这意味着需要学习的基本概念虽然不多，但是它们的组合方式是几
Elasticsearch(四) -- 聚合查询(Bucket)
qq_44447372的博客
08-01 2196
说明:该博客对应的Elasticsearch 的版本为7.8.0;测试工具为postman 概念:Bucket可以理解为一个桶,符合要求的放入一个桶中,相当于mysql中的groupBy 本篇博客主要针对于terms aggs, filter aggs,histogram aggs,range aggs,date aggs五个关键字展开. 一,创建索引数据,参考Elasticsearch(三)--Metric(指标) Aggregation语法 Aggregation是search的一部分,一
通过 elasticsearch-sql 使用 SQL 语句聚合查询 Elasticsearch 获取各种 buckets 桶
haojiliang
12-28 3096
Elasticsearch 的 buckets（桶）包含 Histogram、Date Histogram、Range、Date Range、Terms、IPv4 Range、Significant Terms 等； https://blog.iaiot.com/Elasticsearch-buckets.html 1.Histogram： SELECT * FROM INDEX-2017...
ElasticSearch Aggregation Bucket 实例分析
allwefantasy的专栏
03-04 7226
在前文 ElasticSearch Aggregations 分析 中，我们提及了 【Aggregation Bucket的实现】，然而只是用文字简要描述了原理。今天这篇文章会以简单的类似grouyBy 的操作，让大家Aggregator的工作原理有进一步的理解 查询语句今天我们假定的查询如下：{ "aggs":{ "user": { "te
Elasticsearch聚合 之 Terms
06-19
Elasticsearch聚合之Terms Elasticsearch中的Terms聚合是一种常用的聚合方式，用于对文档中的某个字段进行分组统计。Terms聚合可以对文档中的某个字段进行分组，并统计每个组中的文档数量。 在Elasticsearch中，...
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、排序、筛选等操作。在 Java 中，我们可以使用 Elastic...
Es Bucket聚合(桶聚合) 第一篇(常用桶聚合一览)
中间件兴趣圈
03-13 1万+
本篇将开始介绍Elasticsearch Bucket聚合(桶聚合)。 Buket Aggregations(桶聚合)不像metrics Aggregations(度量聚合)那样计算字段上的度量，而是创建文档桶，每个文件桶有效地定义一个文档集。除了bucket本身之外，bucket聚合还计算并返回“落入”每个bucket的文档的数量。 与度量聚合相反，桶聚合可以嵌套子聚合。这些子聚合将为它们的“父...
ElasticSearch的search.max_buckets值1000限制问题
m0_67391683的博客
04-18 2033
环境：ElasticSearch6.7 问题描述： { "error": { "root_cause": [], "type": "search_phase_execution_exception", "reason": "", "phase": "fetch", "grouped": true, "failed_shards": [], "caused_by": { "type": "too_many_buckets_exception", "reason": "Trying to create too
边学边实战系列（六）：ElasticSearch 聚合查询原理与实践
最新发布
民工哥的博客
05-29 625
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了技术原理、安装和基础使用、索引管理、 DSL 查询相关的知识点。今天我将详细的为大家介绍 ElasticSearch 聚合查询相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！除了查询之外，最常用的聚合了，ElasticSearch提供了三种聚合方式：桶聚合（Bucket Aggregation)，指标聚合（Met...
Elasticsearch Aggregations 统计buckets中key的个数
GreenAppple的专栏
03-28 9163
统计访问超5000的ulr有多少个(sum的最大值会小于等于size，因此size的预估很重要)GET /logstash-2018.03.27/_search? { "size": 0, "aggs": { "all_terms": { "terms": { "field": "url_regex",
【ElasticSearch】新增数据未指定某个字段的值，则在数据中没有该字段，无默认值...
u012161251的博客
06-14 519
es中，如果在写_mapping时，字段没加null_value，新增数据时未指定该字段的值，则数据中没有该字段。可以通过更新数据给该字段赋值。
Elasticsearch 7学习笔记 高阶篇-聚合技术
stay foolish
06-23 386
一 聚合分析之 bucket(分组)&meteric(统计) 这一节内容主要是介绍下 bucket(分组)的概念 以及 meteric(聚合统计)概念，其实我们做过开发写过sql的就很容易理解了。然后我们结合案例进行练习和体会不同的bucket，以及不同的meteric，强化我们对分组和聚合统计的理解和记忆。 1.1 原理 bucket(分组)与metric(聚合统计)概念理解 bucket它是指对一组数据进行分组 假设一组数据为： city name 北京 小李 北京 小王 ...
java ElasticSearch es 聚合排序等
web15085181368的博客
04-19 1616
序言: 近来一直在javaAPI对ES数据进行统计分析, 中间也遇到不少问题, 本篇文章只针对聚合过程中的排序方法进行总结 例如:selectavg(age) as avg_age from table group by gender; 聚合的两种排序方式 1. 按组内字段排序: 分组后按组内数据某个字段进行排序 2. 按聚合后指标排序: 分组聚合后按照聚合后的某个新指标字段进行排序 案例: 1. 按组内字段排序 AggregationBuilder aggregation = AggregationBui
ES 7.9.0 初探之常见操作-match
圆师傅的博客
11-08 1195
文章目录1.前缀查询（prefix）2. 短语匹配（match_phrase）3.短语前缀匹配查询(match_phrase_prefix)4.多重匹配查询（Multi-match query）5.是否匹配前缀（match_bool_prefix） 上一篇我们使用ES进行了简单的CURD操作，今天来进行一点简单的匹配查询的操作。 首先来看一下我编了哪些数据： GET yytest/_search 得到的数据有 { "took" : 0, "timed_out" : false, "_shard
ES elasticsearch aggs 聚合bucket分桶后 桶的数量
熊孩子的博客
11-08 3589
ES elasticsearch aggs 聚合bucket分桶后 桶的数量
ElasticSearch 实战：结构化搜索与聚合分析
"Elasticsearch 学习案例，包含结构化搜索和深度聚合分析的实践" 在Elasticsearch的学习过程中，了解并掌握其核心概念和技术是非常关键的。本案例主要涉及了结构化搜索和深入的聚合数据分析，让我们逐一探讨这些...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值