elasticsearch aggregations_Elasticsearch

最新推荐文章于 2024-05-19 21:09:34 发布
最新推荐文章于 2024-05-19 21:09:34 发布
阅读量130 收藏
点赞数
文章标签： elasticsearch aggregations

本文主要研究Elasticsearch，参考文章 Get Started

Elasticsearch is a highly scalable open-source full-text search and analytics engine. It allows you to store, search, and analyze big volumes of data quickly and in near real time.

- 相关概念

  • Near Realtime(NRT)：近乎实时的search platform，存在一些latency(通常1s)
  • Cluster：为nodes组成的集合来共同保存所有data并提供联合index和search功能。Cluster的默认名称为elasticsearch。可以添加node到指定的cluster。
  • Node： Cluster中的单个server，用来存放data并参与cluster的indexing和search功能。Node的名称默认为随机的UUID，在node启动时赋值，也可以自己命名。Node可以被添加进指定的cluster，默认情况下，每个node被添加进elasticsearch cluster。创建第一个node默认创建elasticsearch cluster并将自己添加进去。
  • Index： Index为具有类似特征的documents集合。Index的name必须是小写字符，name在indexing,search,update和delete documents时被使用。Cluster中可以具有任意数量的index。
  • Type：Type用作index的逻辑划分，可以在相同的index中存放多种类型的doc。
  • Document： Doc为index中最基本的信息单元并使用JSON格式表示。Doc物理上存放在index中，而且被给予type。
  • Shards & Replicas： Index中可以存放很多的data。当data很大时，需要将index拆分为多个shards，分别存放在不同的node。同时，shard可以备份多份，备份被称为replicas。

Shards在空间和并发度上优化，Replicas提高可靠度。定义index时可以指定shards和replicas的个数，并可以在任何时间更改replicas的个数。默认情况下，每个index具有5个primary shards和1个complete replica。在一个shard上最多Integer.MAX_VALUE-128个doc。

-安装

可以不用安装，使用elastic cloud上的elasticsearch service，AWS和GCP都有提供。但是是付费的。

使用Elasticsearch至少为JDK 8，安装Elasticsearch之前，需要先安装JDK 8。更多关于安装的信息参见 安装。

我们安装的Elasticsearch的设置如下：

78ed5c70bc43f6bc98567837a3355f2f.png

这样，Elasticsearch使用9200端口来访问其Rest API，创建了elasticsearch cluster，其中具有一个node my_first_node。执行安装目录中的elasticsearch.exe来启动，启动一个cluster elasticsearch，而且该cluster下只存在一个node。

0939593295ec454858f2b0c6bdcd8bf8.png

针对不同语言，Elasticsearch提供不同的client,参见 Elasticsearch Client 。

-Cluster

安装并启动Elasticsearch后，我们具有一个默认cluster，该cluster中具有一个node。Elasticsearch提供REST API来与Cluster进行交互。

Rest API功能:

  1. 检查cluster,node,index health,status以及statistics
  2. 管理cluster,node,index data和metadata
  3. 对index执行CRUD和search操作
  4. 执行高级search，如：paging,sorting,filtering,scripting,aggregations

使用_cat API来查看cluster health:

curl -X GET "localhost:9200/_cat/health?v"

response:

6d7f6ed6cebe2c797eb8b2e01a8035b1.png

Green表示cluster完全起作用；Yellow表示所有data是可靠的但是一些repicas还没有分配；Red表示一些data不可靠，cluster只发挥部分功能。

下面命令获取Cluster下的所有node：

curl -X GET "localhost:9200/_cat/nodes?v"

b4dc410d4e93c64d63bb3a2911015b6b.png

下面命令显示Cluster中所有index:

curl -X GET "localhost:9200/_cat/indices?v"

358bff056b15f744c95bc2a83b72c38c.png

因为没有创建index，所以这里没有index的信息。

-Index

下面命令创建name为customer的index：

curl -X PUT "localhost:9200/customer?pretty"
curl -X GET "localhost:9200/_cat/indices?v"

命令中的pretty表示pretty-print JSON response。

f8b391fec5a3d8ecbf7ca5fed4036498.png

由结果可知，customer index具有5个primary shards和1个replica，但具有0个doc。

下面的命令用来删除customer index：

curl -X DELETE "localhost:9200/customer?pretty"
curl -X GET "localhost:9200/_cat/indices?v"

-Document

下面我们为customer index创建简单的Document，其ID为1，type为_doc:

curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "John Doe"
}

Response:

{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

注意：Elasticsearch并不要求在将doc放入index之前需要显式创建index。上面的例子中，若index不存在，会自动创建customer index。

下面的命令获取customer index中type为_doc，id为1的Document信息：

curl -X GET "localhost:9200/customer/_doc/1?pretty"

Response:

{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 25,
  "_primary_term" : 1,
  "found" : true,
  "_source" : { "name": "John Doe" }
}

在Elasticsearch中，使用下面的格式来操作Document:

<HTTP Verb> /<Index>/<Type>/<ID>

修改Document分为替换原来的doc或者更新原来的doc.

我们使用下面的命令来替换customer index中type为_doc且ID为1的document的内容。

curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Jane Doe"
}

若使用不同的ID，该命令会新创建一个document。index中的ID是optional，若不提供，则会生成随机ID，该ID会放在response中返回。

使用下面的命令来显示更新Document的内容：

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "doc": { "name": "Jane Doe", "age": 20 }
}

也可以使用script来更新Document: 

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "script" : "ctx._source.age += 5"
}

上面将age增加5， 这里ctx._source指代当前的document。

下面命令用来删除Document:

curl -X DELETE "localhost:9200/customer/_doc/2?pretty"

注意：删除整个index比删除index下的所有documents更高效。

批处理 _bulk

下面的API同时为index 1和index 2创建或更新doc：

POST /customer/_doc/_bulk?pretty
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

下面的API更新id为1的doc并删除id为2的doc：

POST /customer/_doc/_bulk?pretty
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}

批处理的命令并不会因为其中一个action的失败而失败，response中包含每个action的status可供检查结果。

搜索 _search

搜索使用_search endpoint，有2种方式来执行search:通过REST request API来发送search parameters；通过Rest request body来发送search parameters。

下面REST request API在bank index中执行search操作，q=*表示匹配index中的所有documents并使用account_number来升序排序结果。response中包含该search使用时间和返回结果集。

curl -X GET "localhost:9200/bank/_search?q=*&sort=account_number:asc&pretty"

下面使用REST request body来search:

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": [
    { "account_number": "asc" }
  ]
}

注意：当返回search result时， Elasticsearch并不会保留server端的资源或者结果集的cursor。

Elasticsearch提供JSON-style的领域相关语言来执行query，被称为Query DSL。

下面API获取bank index中的一个document， size默认为10。

GET /bank/_search
{
  "query": { "match_all": {} },
  "size": 1
}

下面API获取bank index中第10至第19个document。该特性常用来对search result进行分页。

GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 10,
  "size": 10
}

默认情况下，search会返回full JSON document，但也可以返回指定的field。下面只获得account_number和balance field。

GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

下面的search只获取account_number为20的结果：类似于SQL中的where

GET /bank/_search
{
  "query": { "match": { "account_number": 20 } }
}

下面只获取address中包含mill的account:

GET /bank/_search
{
  "query": { "match": { "address": "mill" } }
}

下面只获取address中包含mill或lane的account: 类似于in

GET /bank/_search
{
  "query": { "match": { "address": "mill lane" } }
}

下面获取address中包含phrase "mill lane"的account:

GET /bank/_search
{
  "query": { "match_phrase": { "address": "mill lane" } }
}

Bool query： 使用bool query允许我们将小query合并为大query。must表示所有match必须为true。 should表示其中一个match符合即可。must_not表示任何一个match都应该是false。

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

当然，我们可以组合使用must, should，must_not来获取复杂的结果。

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

Range query： 用来限制value range，通常用于数字和时间。

下面查询balance在20000-30000之间的account：

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

aggregation 用来group并获取数据中的统计信息。

下面API按account的state进行group，按数量倒序排序(默认)并返回top 10(默认)

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

类似于下面的SQL:

SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC LIMIT 10;

下面仍是按照state进行group并计算group中balance的平均值并以average_balance降序排序：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"，
		"order": {
          "average_balance": "desc"
		}
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

下面以age range进行group并对每个age range以gender进行group，计算每个group中的平均balance：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

关于aggregation，参见 search-aggregations 。

学习更多Elasticsearch，请参看 ElasticSearch 中的不同细节部分。其中也可以找到logstash和kibana的document.

weixin_39921023
关注
ElasticSearch查询Aggregations
WannaRunning的博客
02-24 746
近期做了一些订单数量统计的优化，原来的实现方式是组装多个统计指标的条件然后执行count查询，指标多查询次数也多，接口耗时长性能差。
ES度量聚合(ElasticSearch Metric Aggregations)
2401_84408249的博客
04-18 990
学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的MyBtis知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的MyBtis知识脑图原件（包括上方的面试解析xmind文档）
Elasticsearch--Aggregation详细总结（聚合统计）
热门推荐
donghaixiaolongwang的博客
02-28 6万+
Elasticsearch的Aggregation功能也异常强悍。 Aggregation共分为三种：Metric Aggregations、Bucket Aggregations、 Pipeline Aggregations。下面将分别进行总结。 以下所有内容都来自官网：喜欢原汁原味的参看下方网址，不喜欢英文的参看本人总结。 官网（权威）：https://www.elastic
Elasticsearch：aggregation 介绍
Elastic 中国社区官方博客
11-02 6348
聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一，主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中，我们将解释Elasticsearch中的聚合（aggregation）并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合，并展示了如何利用聚合嵌套（对于facets而言这是不可能的）。 欢迎您在本文中复制所有示例代码。......
es数据聚合
CV工程师呀
02-09 2976
1.kibana实现 1.1.聚合的种类 聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组 Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 Avg：求平均值 Max：求最大值 Min：求最小值 Stats：同时求max、min、avg、sum等 管道（pipeline）聚合：其它聚合的结
elasticsearch篇：数据聚合
viperd的博客
03-15 2039
默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。elasticsearch中分词器（analyzer）的组成包含三部分：character filters：在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smarttokenizer filter：将tokenizer输出的词条做进一步处理。
java操作es聚合操作并显示其他字段_ElasticSearch Aggregations使用总结详解
weixin_35931648的博客
12-23 4100
1.单字段情况下聚合假设只需要对一个字段聚合，比如b字段，b字段是keyword类型，需要考虑的情况最为简单，当要对b字段聚合时语句很好写，如下即可{"from": 0,"size": 0,"query": {"bool": {"must": [{"bool": {"should": [{"terms": {"field_a": ["1", "2", "3"],"boost": 1.0}}, {"...
ElasticSearch - Aggregations 聚合分析
袭冷
02-15 1172
一、关于 1、说明 在 ElasticSearch 中，基于索引和检索的基础上，提供了聚合（Aggregations）的功能，对存储的数据进行统计和分析 在 ElasticSearch 中，将聚合分为 指标聚合（Metric）、存储桶聚合（Bucket）、管道聚合（Pipeline）三类 参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html ...
ElasticSearch date_histogram按时间聚合统计
wanson2015的博客
05-15 1万+
按时间统计 如果搜索是在 Elasticsearch 中使用频率最高的，那么构建按时间统计的 date_histogram 紧随其后。 为什么你会想用 date_histogram 呢？ 假设你的数据带时间戳。 无论是什么数据（Apache 事件日志、股票买卖交易时间、棒球运动时间）只要带有时间戳都可以进行 date_histogram 分析。当你的数据有时间戳，你总是想在 时间 维度上构建指...
ES度量聚合(ElasticSearch Metric Aggregations)，Java开发自学教程
2401_83947105的博客
03-29 990
既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。
Elasticsearch：Aggregation 简介
Elastic 中国社区官方博客
06-15 1637
Aggregation 在中文中也被称作聚合。简单地说，Elasticsearch 中的 aggregation 聚合将你的数据汇总为指标、统计数据或其他分析。聚合可帮助你回答以下问题： 我的网站的平均加载时间是多少？ 根据交易量，谁是我最有价值的客户？ 什么会被认为是我网络上的大文件？ 每个产品类别有多少产品？.........
ElasticSearch 的 聚合（Aggregations）
hezheqiang的专栏
10-20 943
Elasticsearch有一个功能叫做 聚合(aggregations) ，它允许你在数据上生成复杂的分析统计。它很像SQL中的 GROUP BY 但是功能更强大。 Aggregations种类分为: Metrics, Metrics 是简单的对过滤出来的数据集进行avg,max等操作，是一个单一的数值。 Bucket, Bucket 你则可以理解为将过滤出来的数据集按条件分成多个小数据集...
Elasticsearch 聚合查询(Aggregation)详解
wayne_youlu的博客
11-25 1475
Elasticsearch中的聚合查询，类似SQL的SUM/AVG/COUNT/GROUP BY分组查询，主要用于统计分析场景。
【ElasticSearch】聚合aggregations
来日浅谈的博客
07-16 581
【ElasticSearch】聚合aggregations1. 基本概念2. 聚合为桶3. 桶内度量4. 桶内嵌套桶5. 划分桶的其他方式5.1 阶梯分桶Histogram5.2 范围分桶range 聚合可以让我们极其方便的实现对数据的统计、分析。例如： 什么品牌的手机最受欢迎？ 这些手机的平均价格、最高价格、最低价格？ 这些手机每月的销售情况如何？ 实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现实时搜索效果。 Elasticsearch中的聚合，包含多种类型，最常用的两种，
Elasticsearch 之聚合分析入门
WantFlyDaCheng的博客
03-25 341
本文主要介绍 Elasticsearch 的聚合功能，介绍什么是 Bucket 和 Metric 聚合，以及如何实现嵌套的聚合。首先来看下聚合（Aggr...
4. ElasticSearch——aggregations聚合分析
武汉小喽啰
02-02 728
聚合提供了从数据中分组和提取数据的能力，最简单的聚合方法大致等于sql group by和sql聚合函数。在ES中，如果有执行搜索返回his()命中结果，并且同时返回聚合结果，把一个响应中的所有his（命中结果）分隔开的能力。这是非常强大且有效的，我们可以执行查询和多个聚合，并且在一次使用中得到各自的（任何一个的）返回结果，使用一次简洁和简化的API来避免网络往返。 语法： "aggregations":{ "<aggregation_name>":{ "<ag...
Elasticsearch 之聚合分析
吴名氏的博客
11-15 4万+
Elasticsearch 之聚合分析
Elasticsearch 8.1官网文档梳理 - 十五、Aggregations（聚合）
最新发布
Wolf_xujie的博客
05-19 1175
这里值得注意的是，时间间隔的选择有两种方式，一种是 周期间隔（Calendar intervals），另外一种是 固定间隔（Fixed intervals），分别对应参数。聚合的组合，主要用于 按文档数量排序，或按复合键的度量聚合排序并获得前 N 个结果时。ES 的聚合可以总结为三类：指标聚合、统计聚合、其他分析聚合。）聚合可以创建子聚合，子聚合是基于父聚合的结果进行创建。在聚合时根据给定的时间间隔进行聚合，结果中 桶（）的数量，由 ES 自动选择聚合的时间间隔。的值，将数据按间隔，放入不同的 桶（
es 排序 聚合统计_elasticsearch聚合统计出现次数
05-13
在 Elasticsearch 中，可以使用聚合（Aggregation）实现对文档进行聚合统计，其中包括出现次数的统计。下面是一个示例： 假设我们有一个名为 "sales" 的索引，包含以下文档： ``` { "product": "A", "price": 10.0, "timestamp": "2021-08-01T10:00:00Z" } { "product": "B", "price": 15.0, "timestamp": "2021-08-01T10:05:00Z" } { "product": "A", "price": 12.0, "timestamp": "2021-08-01T10:10:00Z" } { "product": "C", "price": 20.0, "timestamp": "2021-08-01T10:15:00Z" } { "product": "A", "price": 8.0, "timestamp": "2021-08-01T10:20:00Z" } { "product": "B", "price": 18.0, "timestamp": "2021-08-01T10:25:00Z" } ``` 现在，我们想要统计每个产品出现的次数，可以使用以下聚合查询： ``` { "aggs": { "products": { "terms": { "field": "product" } } } } ``` 其中，"aggs" 是聚合查询的关键字，"products" 是我们给这个聚合起的名字，"terms" 表示我们要按照某个字段进行分组，"field" 指定了我们要按照哪个字段进行分组。 运行上述查询后，得到的结果如下： ``` { "aggregations": { "products": { "buckets": [ { "key": "A", "doc_count": 3 }, { "key": "B", "doc_count": 2 }, { "key": "C", "doc_count": 1 } ] } } } ``` 其中，"key" 表示产品名称，"doc_count" 表示该产品出现的次数。 如果想要对出现次数进行排序，可以使用以下聚合查询： ``` { "aggs": { "products": { "terms": { "field": "product", "order": { "_count": "desc" } } } } } ``` 其中，"order" 表示按照什么字段进行排序，"_count" 表示按照出现次数进行排序，"desc" 表示降序排列。 运行上述查询后，得到的结果如下： ``` { "aggregations": { "products": { "buckets": [ { "key": "A", "doc_count": 3 }, { "key": "B", "doc_count": 2 }, { "key": "C", "doc_count": 1 } ] } } } ``` 其中，产品 A 出现的次数最多，排在第一位。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值