Elasticsearch 聚合的作用范围及排序

最新推荐文章于 2024-06-10 13:37:47 发布
最新推荐文章于 2024-06-10 13:37:47 发布
阅读量443 收藏
点赞数
分类专栏： elk 文章标签： elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixihahalelehehe/article/details/114411134
版权

文章目录

1. 聚合的作用范围

ES 聚合分析的默认作用范围是 query 的查询结果集

同时 ES 还支持以下方式改变聚合的作用范围

  1. Filter
  2. Post_Filter
  3. Global

2. demo

2.1 定义索引并插入数据

DELETE /employees
PUT /employees/
{
  "mappings" : {
      "properties" : {
        "age" : {
          "type" : "integer"
        },
        "gender" : {
          "type" : "keyword"
        },
        "job" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 50
            }
          }
        },
        "name" : {
          "type" : "keyword"
        },
        "salary" : {
          "type" : "integer"
        }
      }
    }
}

PUT /employees/_bulk
{ "index" : {  "_id" : "1" } }
{ "name" : "Emma","age":32,"job":"Product Manager","gender":"female","salary":35000 }
{ "index" : {  "_id" : "2" } }
{ "name" : "Underwood","age":41,"job":"Dev Manager","gender":"male","salary": 50000}
{ "index" : {  "_id" : "3" } }
{ "name" : "Tran","age":25,"job":"Web Designer","gender":"male","salary":18000 }
{ "index" : {  "_id" : "4" } }
{ "name" : "Rivera","age":26,"job":"Web Designer","gender":"female","salary": 22000}
{ "index" : {  "_id" : "5" } }
{ "name" : "Rose","age":25,"job":"QA","gender":"female","salary":18000 }
{ "index" : {  "_id" : "6" } }
{ "name" : "Lucy","age":31,"job":"QA","gender":"female","salary": 25000}
{ "index" : {  "_id" : "7" } }
{ "name" : "Byrd","age":27,"job":"QA","gender":"male","salary":20000 }
{ "index" : {  "_id" : "8" } }
{ "name" : "Foster","age":27,"job":"Java Programmer","gender":"male","salary": 20000}
{ "index" : {  "_id" : "9" } }
{ "name" : "Gregory","age":32,"job":"Java Programmer","gender":"male","salary":22000 }
{ "index" : {  "_id" : "10" } }
{ "name" : "Bryant","age":20,"job":"Java Programmer","gender":"male","salary": 9000}
{ "index" : {  "_id" : "11" } }
{ "name" : "Jenny","age":36,"job":"Java Programmer","gender":"female","salary":38000 }
{ "index" : {  "_id" : "12" } }
{ "name" : "Mcdonald","age":31,"job":"Java Programmer","gender":"male","salary": 32000}
{ "index" : {  "_id" : "13" } }
{ "name" : "Jonthna","age":30,"job":"Java Programmer","gender":"female","salary":30000 }
{ "index" : {  "_id" : "14" } }
{ "name" : "Marshall","age":32,"job":"Javascript Programmer","gender":"male","salary": 25000}
{ "index" : {  "_id" : "15" } }
{ "name" : "King","age":33,"job":"Java Programmer","gender":"male","salary":28000 }
{ "index" : {  "_id" : "16" } }
{ "name" : "Mccarthy","age":21,"job":"Javascript Programmer","gender":"male","salary": 16000}
{ "index" : {  "_id" : "17" } }
{ "name" : "Goodwin","age":25,"job":"Javascript Programmer","gender":"male","salary": 16000}
{ "index" : {  "_id" : "18" } }
{ "name" : "Catherine","age":29,"job":"Javascript Programmer","gender":"female","salary": 20000}
{ "index" : {  "_id" : "19" } }
{ "name" : "Boone","age":30,"job":"DBA","gender":"male","salary": 30000}
{ "index" : {  "_id" : "20" } }
{ "name" : "Kathy","age":29,"job":"DBA","gender":"female","salary": 20000}

2.2 Query

POST employees/_search
{
  "size": 0,
  "query": {
    "range": {
      "age": {
        "gte": 20
      }
    }
  },
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword"
        
      }
    }
  }
}

返回输出：

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 20,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "jobs" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Java Programmer",
          "doc_count" : 7
        },
        {
          "key" : "Javascript Programmer",
          "doc_count" : 4
        },
        {
          "key" : "QA",
          "doc_count" : 3
        },
        {
          "key" : "DBA",
          "doc_count" : 2
        },
        {
          "key" : "Web Designer",
          "doc_count" : 2
        },
        {
          "key" : "Dev Manager",
          "doc_count" : 1
        },
        {
          "key" : "Product Manager",
          "doc_count" : 1
        }
      ]
    }
  }
}

2.3 Filter

POST employees/_search
{
  "size": 0,
  "aggs": {
    "older_person": {
      "filter":{
        "range":{
          "age":{
            "from":35
          }
        }
      },
      "aggs":{
         "jobs":{
           "terms": {
        "field":"job.keyword"
      }
      }
    }},
    "all_jobs": {
      "terms": {
        "field":"job.keyword"
        
      }
    }
  }
}

返回输出：

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 20,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "older_person" : {
      "doc_count" : 2,
      "jobs" : {
        "doc_count_error_upper_bound" : 0,
        "sum_other_doc_count" : 0,
        "buckets" : [
          {
            "key" : "Dev Manager",
            "doc_count" : 1
          },
          {
            "key" : "Java Programmer",
            "doc_count" : 1
          }
        ]
      }
    },
    "all_jobs" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Java Programmer",
          "doc_count" : 7
        },
        {
          "key" : "Javascript Programmer",
          "doc_count" : 4
        },
        {
          "key" : "QA",
          "doc_count" : 3
        },
        {
          "key" : "DBA",
          "doc_count" : 2
        },
        {
          "key" : "Web Designer",
          "doc_count" : 2
        },
        {
          "key" : "Dev Manager",
          "doc_count" : 1
        },
        {
          "key" : "Product Manager",
          "doc_count" : 1
        }
      ]
    }
  }
}

2.4 Post_Filter

Post field. 一条语句，找出所有的job类型。还能找到聚合后符合条件的结果

  • 是对聚合分析后的文档进行再次过滤
  • Size 无需设置为 0
  • 使用场景
    一条语句，获取聚合信息 + 获取符合条件的文档
POST employees/_search
{
  "aggs": {
    "jobs": {
      "terms": {
        "field": "job.keyword"
      }
    }
  },
  "post_filter": {
    "match": {
      "job.keyword": "Dev Manager"
    }
  }
}

返回输出：
在这里插入图片描述

2.5 global

POST employees/_search
{
  "size": 0,
  "query": {
    "range": {
      "age": {
        "gte": 40
      }
    }
  },
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword"
        
      }
    },
    
    "all":{
      "global":{},
      "aggs":{
        "salary_avg":{
          "avg":{
            "field":"salary"
          }
        }
      }
    }
  }
}

返回输出：

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "all" : {
      "doc_count" : 20,
      "salary_avg" : {
        "value" : 24700.0
      }
    },
    "jobs" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Dev Manager",
          "doc_count" : 1
        }
      ]
    }
  }
}

2.6 排序 order

  • 指定 order，按照 count 和 key 排序
  • 默认情况，按照 count 降序排序
  • 指定 size，就能返回相应的桶

#count and key

POST employees/_search
{
  "size": 0,
  "query": {
    "range": {
      "age": {
        "gte": 20
      }
    }
  },
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword",
        "order":[
          {"_count":"asc"},
          {"_key":"desc"}
          ]
        
      }
    }
  }
}

返回输出：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 20,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "jobs" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Product Manager",
          "doc_count" : 1
        },
        {
          "key" : "Dev Manager",
          "doc_count" : 1
        },
        {
          "key" : "Web Designer",
          "doc_count" : 2
        },
        {
          "key" : "DBA",
          "doc_count" : 2
        },
        {
          "key" : "QA",
          "doc_count" : 3
        },
        {
          "key" : "Javascript Programmer",
          "doc_count" : 4
        },
        {
          "key" : "Java Programmer",
          "doc_count" : 7
        }
      ]
    }
  }
}

#排序 order
#count and key

POST employees/_search
{
  "size": 0,
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword",
        "order":[  {
            "avg_salary":"desc"
          }]
        
        
      },
    "aggs": {
      "avg_salary": {
        "avg": {
          "field":"salary"
        }
      }
    }
    }
  }
}

返回输出：
在这里插入图片描述

#排序 order
#count and key

POST employees/_search
{
  "size": 0,
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword",
        "order":[  {
            "stats_salary.min":"desc"
          }]
        
        
      },
    "aggs": {
      "stats_salary": {
        "stats": {
          "field":"salary"
        }
      }
    }
    }
  }
}

返回输出：
在这里插入图片描述

ghostwritten
关注
专栏目录
Elasticsearch聚合 之 Terms
06-19
Elasticsearch聚合之Terms Elasticsearch中的Terms聚合是一种常用的聚合方式，用于对文档中的某个字段进行分组统计。Terms聚合可以对文档中的某个字段进行分组，并统计每个组中的文档数量。 在Elasticsearch中，...
elasticsearch之Pipeline 聚合分析
种一颗十年前的树
06-16 577
Pipeline 聚合分析 DELETE employees PUT /employees/_bulk { "index" : { "_id" : "1" } } { "name" : "Emma","age":32,"job":"Product Manager","gender":"female","salary":35000 } { "index" : { "_id" : "2" } } { "name" : "Underwood","age":41,"job":"Dev Manager","ge
elasticsearch 聚合+排序
HH_KELE的专栏
06-10 1466
聚合的两种排序方式 1. 按组内字段排序: 分组后按组内数据某个字段进行排序 2. 按聚合后指标排序: 分组聚合后按照聚合后的某个新指标字段进行排序 案例: 按组内字段排序 AggregationBuilder aggregation = AggregationBuilders .terms("agg").field("gender") .subAggregation( Aggreg...
elasticsearch聚合后多字段综合排序
01-10 1万+
一.聚合后排序 1.内置排序 聚合内置排序共有_count、_term、_key三种，聚合后默认会根据 _count 降序排列。 _count： 按文档数排序。对 terms 、 histogram 、 date_histogram 有效。 _term： 按词项的字符串值的字母顺序排序，只在 terms 内使用。 _key： 按每个桶的键值数值排序（理论上与 _term 类似），只在 histog...
elasticsearch之聚合的作⽤范围及排序
种一颗十年前的树
06-17 423
聚合的作⽤范围及排序 es聚合分析的默认作用范围是query的查询结果集 同时es还支持以下方式改变聚合的作用范围 filter post_filter global DELETE /employees PUT /employees/ { "mappings" : { "properties" : { "age" : { "type" : "integer" }, "gender" : { "type
ElasticSearch多字段查询去重过滤详解
IT之一小佬的博客
01-01 7545
ElasticSearch多字段查询去重过滤详解
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
最新发布
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
1-Elasticsearch开发技术详解及技术指导.rar
09-15
这份名为"1-Elasticsearch开发技术详解及技术指导.rar"的压缩包文件，显然是针对Elasticsearch的开发实践提供了一套详细的技术指南，适合初学者和有一定经验的开发者参考。 首先，我们来深入了解一下Elasticsearch...
elasticsearch 查询聚合结果排序
热门推荐
zhangkang65的专栏
01-25 4万+
一、查询结果按某个字段进行排序 { "size" : 5, "query" : { "bool" : { "filter" : [ { "range" : { "startTime" : { "from" : 1517046960000, "to" :
Elasticsearch聚合学习之四：结果排序
程序员欣宸的博客
05-04 1万+
在前面的实战中，聚合的结果以桶(bucket)为单位，放在JSON数组中返回，这些数据是没有排序的，今天来学习如何给这些数据进行排序。
elasticsearch[四]-数据聚合排序查询、搜索框自动补全、数据同步、集群
丨汀、的博客
01-16 1180
elasticsearch[四]-数据聚合排序查询、搜索框自动补全、数据同步、集群
ElasticSearch | 聚合的作用范围 | 聚合中的排序
乌鲁木齐001号程序员
05-28 221
聚合的作用范围 ElasticSearch 聚合分析的默认作用范围是 Query 的查询结果集； 同时 ElasticSearch 还支持以下方式改变聚合的作用范围： Filter Post Filter Global 聚合的作用范围 | 举几个栗子 query 的作用范围 年龄大于 40 岁员工的分桶； POST employees/_search { "size": 0, ...
Elasticsearch分组 聚合 排序
LMC技术人生专栏
01-09 1万+
1 elasticsearch分组，ES分组 es聚合查询 ES排序 如果需要精确查询的，必须加上 xxx.keyword;属性 1 求最大值 ，取第一条 POST /tms_site_index/_search { "size":1, "query": { "match_all": {} }, "aggs": { "max_price": { ...
Elasticsearch - 聚合获取原始数据并分页&排序&模糊查询
小工匠
05-11 1万+
ES版本：7.6.需要按照主机ID 进行告警时间的汇总，并且还得把主机相关的信息展示出来。注： 所有的数据都存在索引中， 通过一个DSL查询展示实际上就是将terms聚合的结果以列表形式分页展示。
去除div最后一个逗号_去除重复值、统计数量，这个公式可以直接套用
weixin_39694838的博客
11-28 270
私信回复关键词【工具】，获取Excel高效小工具合集！让你的Excel效率开挂~(◦˙▽˙◦)前段时间遇到这样一个问题，让我很头疼。头疼的原因有 3 点：❶ 问题描述不清晰，理解起来困难；❷ 去重复计算数量，函数公式实现难度大；❸ 提问的是个男生。我尝试着把问题精简了一下，是这样的，你就凑活着看吧。一列「用户 ID」，一列「活动日期」，现在想统计，每个用户参加活动的天数。因为用户可能在 1 天中参...
ElasticSearch单字段查询去重详解
IT之一小佬的博客
01-01 7830
ElasticSearch单字段查询去重详解
ElasticSearch聚合排序
冲出仁川，走出马德里，故事还会再继续
06-10 271
根据之前的博客可知，ES对于聚合结果的默认排序规则有时并非是我们希望的。可以使用ES提供的sort子句进行自定义排序，有多种排序方式可供选择：按照聚合后的文档计数的大小进行排序按照聚合后的某个指标进行排序按照每个组的名称进行排序。
es 排序 聚合统计_elasticsearch聚合统计出现次数
05-13
在 Elasticsearch 中，可以使用聚合（Aggregation）实现对文档进行聚合统计，其中包括出现次数的统计。下面是一个示例： 假设我们有一个名为 "sales" 的索引，包含以下文档： ``` { "product": "A", "price": ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ghostwritten

口渴，请赏一杯下午茶吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值