ElasticSearch学习之路-day22

最新推荐文章于 2024-03-04 17:08:21 发布
最新推荐文章于 2024-03-04 17:08:21 发布
阅读量137 收藏
点赞数
分类专栏： Elasticsearch 文章标签： Elasticsearch 桶聚合

转载自：https://blog.csdn.net/chengyuqiang/column/info/18392，ES版本号6.3.0

为了满足桶聚合多样性需求，修改文档如下：

DELETE my-index
PUT my-index
PUT my-index/persion/1
{
  "name":"张三",
  "age":27,
  "gender":"男",
  "salary":15000,
  "dep":"bigdata"
}
PUT my-index/persion/2
{
  "name":"李四",
  "age":26,
  "gender":"女",
  "salary":15000,
  "dep":"bigdata"
}
PUT my-index/persion/3
{
  "name":"王五",
  "age":26,
  "gender":"男",
  "salary":17000,
  "dep":"AI"
}
PUT my-index/persion/4
{
  "name":"刘六",
  "age":27,
  "gender":"女",
  "salary":18000,
  "dep":"AI"
}
PUT my-index/persion/5
{
  "name":"程裕强",
  "age":31,
  "gender":"男",
  "salary":20000,
  "dep":"bigdata"
}
PUT my-index/persion/6
{
  "name":"hadron",
  "age":30,
  "gender":"男",
  "salary":20000,
  "dep":"AI"
}

Terms Aggreation：用于分组聚合
（1）根据薪资水平进行分组，统计每个薪资水平的人数

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "terms": {"field": "salary"}
    }
  }
}

返回结果

{
  "took": 24,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": 15000,
          "doc_count": 2
        },
        {
          "key": 20000,
          "doc_count": 2
        },
        {
          "key": 17000,
          "doc_count": 1
        },
        {
          "key": 18000,
          "doc_count": 1
        }
      ]
    }
  }
}

有点类似mysql中的key,count(1) doc_count from table group by salary的味道
（2）统计上面每个分组的平均年龄

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "terms": {
        "field": "salary"
      },
      "aggs": {
        "avg_age": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  }
}

返回结果

{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": 15000,
          "doc_count": 2,
          "avg_age": {
            "value": 26.5
          }
        },
        {
          "key": 20000,
          "doc_count": 2,
          "avg_age": {
            "value": 30.5
          }
        },
        {
          "key": 17000,
          "doc_count": 1,
          "avg_age": {
            "value": 26
          }
        },
        {
          "key": 18000,
          "doc_count": 1,
          "avg_age": {
            "value": 27
          }
        }
      ]
    }
  }
}

（3）统计每个部门的人数

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "terms": {
        "field": "dep"
      }
    }
  }
}

返回结果

{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [dep] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "my-index",
        "node": "MLCxR4WISROEMF55izFigQ",
        "reason": {
          "type": "illegal_argument_exception",
          "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [dep] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
        }
      }
    ],
    "caused_by": {
      "type": "illegal_argument_exception",
      "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [dep] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.",
      "caused_by": {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [dep] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    }
  },
  "status": 400
}

根据错误提示可知需要开启fielddata参数。只需要设置某个字段"fileddata":true即可。此外根据文档提示se the my_field.keyword field for aggregations, sorting, or in scripts，可以尝my_field.keyword格式用于聚合操作

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "terms": {
        "field": "dep.keyword"
      }
    }
  }
}

返回结果

{
  "took": 13,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "AI",
          "doc_count": 3
        },
        {
          "key": "bigdata",
          "doc_count": 3
        }
      ]
    }
  }
}

Filter Aggregation：用于过滤器聚合，把满足过滤器条件的文件分到一组
（1）计算男人的平均年龄

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "filter": {
        "term": {
          "gender": "男"
        }
      },
      "aggs": {
        "avg_age": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  }
}

返回结果

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "doc_count": 4,
      "avg_age": {
        "value": 28.5
      }
    }
  }
}

Filters Aggregation
（1）统计body字段包含"error"和"warning"的文档数

PUT /logs/message/_bulk?refresh
{ "index" : { "_id" : 1 } }
{ "body" : "warning: page could not be rendered" }
{ "index" : { "_id" : 2 } }
{ "body" : "authentication error" }
{ "index" : { "_id" : 3 } }
{ "body" : "warning: connection timed out" }
GET logs/_search
{
  "size": 0,
  "aggs": {
    "messages": {
      "filters": {
        "filters": {
          "errors" :   { "match" : { "body" : "error"   }},
          "warnings" : { "match" : { "body" : "warning" }}
        }
      }
    }
  }
}

返回结果

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "messages": {
      "buckets": {
        "errors": {
          "doc_count": 1
        },
        "warnings": {
          "doc_count": 2
        }
      }
    }
  }
}

（2）统计男女员工的平均年龄

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "filters": {
        "filters": [
          {"match":{"gender":"男"}},
           {"match":{"gender":"女"}}
          ]
      },
      "aggs": {
        "avg_age": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  }
}

返回结果

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "buckets": [
        {
          "doc_count": 4,
          "avg_age": {
            "value": 28.5
          }
        },
        {
          "doc_count": 2,
          "avg_age": {
            "value": 26.5
          }
        }
      ]
    }
  }
}

Range Aggregation
from..to区间范围是[from,to),也就是说包含from点，不包含to点 
（1）查询薪资在[0,10000),[10000,20000),[20000,+无穷)三个范围内的员工数

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "range": {
        "field": "salary",
        "ranges": [
          {"to":10000},
          {
            "from": 10000,
            "to": 20000
          },
          {"from": 20000}
        ]
      }
    }
  }
}

返回结果

{
  "took": 38,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "buckets": [
        {
          "key": "*-10000.0",
          "to": 10000,
          "doc_count": 0
        },
        {
          "key": "10000.0-20000.0",
          "from": 10000,
          "to": 20000,
          "doc_count": 4
        },
        {
          "key": "20000.0-*",
          "from": 20000,
          "doc_count": 2
        }
      ]
    }
  }
}

（2）查询发布日期在2016-12-01之前、2016-12-01至2017-01-01、2017-01-01之后三个时间区间的文档数量

GET website/_search
{
  "size": 0,
  "aggs": {
    "group_count": {
      "range": {
        "field": "postdate",
        "format":"yyyy-MM-dd",
        "ranges": [
            {"to": "2016-12-01"},
            {"from": "2016-12-01","to":"2017-01-01"},  
            {"from": "2017-01-01"}
        ]
      }
    }
  }
}

返回结果

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 10,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "buckets": [
        {
          "key": "*-2016-12-01",
          "to": 1480550400000,
          "to_as_string": "2016-12-01",
          "doc_count": 0
        },
        {
          "key": "2016-12-01-2017-01-01",
          "from": 1480550400000,
          "from_as_string": "2016-12-01",
          "to": 1483228800000,
          "to_as_string": "2017-01-01",
          "doc_count": 7
        },
        {
          "key": "2017-01-01-*",
          "from": 1483228800000,
          "from_as_string": "2017-01-01",
          "doc_count": 2
        }
      ]
    }
  }
}

DateRange Aggregation：
专用于日期值的范围聚合。 这种聚合和正常范围聚合的主要区别在于，起始和结束值可以在日期数学表达式中表示，并且还可以指定返回起始和结束响应字段的日期格式。 请注意，此聚合包含from值并排除每个范围的值。

计算一年之前发表的博文数量和从一年前以来发表的博文总数

GET website/_search
{
  "size": 0, 
  "aggs": {
    "group_count": {
      "range": {
        "field": "postdate",
        "format":"yyyy-MM-dd",
        "ranges": [
            {"to": "now-12M/M"},
            {"from": "now-12M/M"}
        ]
      }
    }
  }
}

返回结果

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 10,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_count": {
      "buckets": [
        {
          "key": "*-2018-02-01",
          "to": 1517443200000,
          "to_as_string": "2018-02-01",
          "doc_count": 9
        },
        {
          "key": "2018-02-01-*",
          "from": 1517443200000,
          "from_as_string": "2018-02-01",
          "doc_count": 0
        }
      ]
    }
  }
}

Missing Aggregation：
基于字段数据的单桶聚合，创建当前文档集上下文中缺少字段值（实际上是缺少字段或设置了NULL值）的所有文档的桶。此聚合器通常会与其他字段数据存储桶聚合器（如范围）一起使用，以返回由于缺少字段数据值而无法放置在其他存储桶中的所有文档的信息。

PUT my-index/persion/7
{
  "name":"test",
  "age":30,
  "gender":"男"
}
PUT my-index/persion/8
{
  "name":"abc",
  "age":28,
  "gender":"女"
}
PUT my-index/persion/9
{
  "name":"xyz",
  "age":32,
  "gender":"男",
  "salary":null,
  "dep":null
}

缺少salary字段的文档

GET my-index/_search
{
  "size": 0,
  "aggs": {
    "noSalary_count": {
      "missing": {
        "field": "salary"
      }
    }
  }
}

返回结果

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 9,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "noSalary_count": {
      "doc_count": 3
    }
  }
}

children Aggregation:一个特殊的单桶聚合，用于选择具有指定类型的子文档，如join字段中定义的。
这种聚合有一个单一的选择：type-应该选择的子类型
（1）索引定义
下面通过join字段定义了一个单一关系,question是answer的父文档

PUT join_index
{
  "mappings": {
    "doc":{
      "properties": {
        "my_join_field":{
          "type": "join",
          "relations":{
            "question":"answer"
          }
        }
      }
    }
  }
}

（2）父文档question

PUT join_index/doc/1?refresh
{
  "text": "This is a question",
  "my_join_field": {
    "name": "question" 
  }
}

PUT join_index/doc/2?refresh
{
  "text": "This is a another question",
  "my_join_field": {
    "name": "question"
  }
}

（3）子文档answer

PUT join_index/doc/3?routing=1&refresh 
{
  "text": "This is an answer",
  "my_join_field": {
    "name": "answer", 
    "parent": "1" 
  }
}

PUT join_index/doc/4?routing=1&refresh
{
  "text": "This is another answer",
  "my_join_field": {
    "name": "answer",
    "parent": "1"
  }
}

（4）统计子文档数量

POST join_index/_search
{
  "size": 0,
  "aggs": {
    "to-answers": {
      "children": {
        "type": "answer"
      }
    }
  }
}

返回结果

{
  "took": 6,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "to-answers": {
      "doc_count": 2
    }
  }

 

半岛铁板
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch系列---聚合查询(二)
黄鹰的专栏
04-10 628
### 概要 ### 近似聚合算法 上一篇我们演练的聚合算法，在Elasticsearch分布式场景下，其实是有略微区别的，简单来说我们可以把这些聚合算法分成两类，易并行算法和不易并行算法。 #### 易并行算法 比如max，min，就是多个node或shard可以单独并行计算，并且可以随着机器数的线性增长而横向扩展，没有任何协调操作，得到的结果返回给Coordinate Node时的数据...
elasticsearch聚合查询
warrah 南极狼
02-08 368
es 聚合复杂应用的实际运营，项目中实际用到的
ElasticSearch 聚合查询(1) 学习
java_seeking的博客
01-20 188
一. ES聚合分析查询的写法 在查询请求体中以aggregations节点按如下语法定义聚合分析： "aggregations" : { "<aggregation_name>" : { <!--聚合的名字 --> "<aggregation_type>" : { <!--聚合的类型 --> <aggr...
关于ElasticSearch的聚类时出现fielddata=true问题
LiDong的博客
12-11 2666
在ElasticSearch中默认fielddata默认是false的，因为开启Text的fielddata后对内存的占用很高。 如果进行聚合查询时候： GET /megacorp/employee/_search { "aggs": { "all_interests": { "terms": { "field": "interests" } } } } ...
使用ElasticSearch遇到的问题
梦想是很难很难的，所以先勇敢一点
11-22 5085
在使用 ElasticSearch 的时候，如果索引中的字段是 text 类型，针对该字段聚合、排序和查询的时候常会出现 Fielddata is disabled on text fields by default. Set fielddata=true 的错误。本文总结这个错误出现的原因，可能的修复方法等。 这个问题的解决方法并没有尝试过 常见原因 在 ElasticSearch 中，Fielddata 默认在 text 类型的字段时是不启用的。设想，如果默认打开，那么你的数据中，每个字符串大概率不
day05-Elasticsearch01day05-Elasticsearch01
10-25
通过“day05-Elasticsearch01”的学习，你将掌握Elasticsearch的基本操作、配置优化以及实战技巧，进一步提升数据处理和分析的能力。同时，了解Elasticsearch与其他工具如Logstash和Kibana的协同工作，有助于构建...
day14-ElasticStack学习之Elasticsearch进阶.zip
01-29
总之，"ElasticStack学习之Elasticsearch进阶"课程涵盖了Elasticsearch的各个方面，从基础概念到高级特性，旨在帮助开发者充分利用这个强大的搜索引擎。通过理论与实践的结合，学员们不仅能理解Elasticsearch的工作...
day07-Elasticsearch03day07-Elasticsearch03
10-25
通过学习"day07-Elasticsearch03"，你将能够掌握Elasticsearch的核心操作，包括索引管理、文档操作、查询构建、聚合分析以及集群维护，从而更高效地利用Elasticsearch解决实际的搜索和数据分析问题。
day05-Elasticsearch01
12-13
在这个“day05-Elasticsearch01”的学习资料中，我们将深入探讨Elasticsearch的核心概念和关键功能。 1. **Elasticsearch核心概念** - **节点(Node)**：Elasticsearch是以节点为基础构建的分布式系统，每个节点都...
day07-Elasticsearch03
12-13
总的来说，"day07-Elasticsearch03"的学习将带你走进Elasticsearch的世界，掌握其基本概念、安装配置、数据操作和集群管理，为后续深入使用和开发基于Elasticsearch的应用奠定坚实基础。通过实践和探索，你可以发掘...
在Elasticsearch中对 text 类型的字段进行聚合异常Fielddata is disabled，Set fielddata=true
asdfgh0077的博客
01-17 218
在Elasticsearch中对 text 类型的字段进行聚合异常Fielddata is disabled，Set fielddata=true
ES查询报错解决：Fielddata is disabled on text fields by default.Set fielddata=true on......
最新发布
u010921364的博客
03-04 1029
自动映射类型，数据类型自动映射为第一次收到数据时的类型，后续即使写数据时改变数据类型，但存储的还是第一次映射类型。第一次存储的数据类型为text，即使后续写入的数据类型为long，但写入数据库后还是text。字段类型为text，不支持直接用字段名查询，应该用字段名.keyword；
设置 "fielddata": true
大JAVA解决方案
05-05 9484
  }}}] lastShard [true]org.elasticsearch.transport.RemoteTransportException: [name_CentOSNode1][192.168.72.141:9300][indices:data/read/search[phase/query]]Caused by: java.lang.IllegalArgumentException...
ES 21 - 通过 Elasticsearch 实现聚合检索 (分组统计)
xiangjai的专栏
10-17 6795
目录 1 普通聚合分析 1.1 直接聚合统计 1.2 先检索, 再聚合 1.3 扩展: fielddata和keyword的聚合比较 2 嵌套聚合 2.1 先分组, 再聚合统计 2.2 先分组, 再统计, 最后排序 2.3 先分组, 组内再分组, 然后统计、排序 1 普通聚合分析 1.1 直接聚合统计 (1) 计算每个tag下的文档数量, 请求语法: GET book_shop/it_book/_search { "size": 0, // 不显示命..
Elasticsearch根据查询条件求和sum
shykevin的博客
07-06 2028
一、概述 现有news表，数据存放在Elasticsearch中。需要根据关键字查询之后，sum计算点击数。 数据如下： {"content":"变异毒株在国内首次出现社区传播","hits":468} {"content":"昆明市委书记:做好象群进主城准备","hits":489} {"content":"吸入式新冠疫苗正在申请紧急使用","hits":476} 注意：hits表示点击数...
ElasticSearch fielddata is disabled on text fields by default. set fielddata=true on interests
每天进步一点点，坚持！！！
05-29 5537
解决办法： https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html
elasticsearch高级功能之聚合查询
nandao158的博客
01-03 5400
elasticsearch高级功能之聚合查询
ElasticsearchRestTemplate Java聚合查询+操作索引+查询时10000条上限
u014792378的博客
11-26 7360
文章目录分组查询索引操作创建索引 & 字段映射删除索引 分组查询 private final ElasticsearchRestTemplate esRestTemplate; // select count(1), status from order group by status public void aggregate(){ // 查询条件 NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuil
如何使用 es7.1.1 elasticsearch-sql
07-28
要使用 Elasticsearch SQL 插件，您需要先确保您已经安装了 Elasticsearch 7.1.1 版本。然后，按照以下步骤进行操作： 1. 安装 Elasticsearch SQL 插件： - 打开终端或命令提示符窗口。 - 运行以下命令安装 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值