Elasticsearch 聚合分析

最新推荐文章于 2023-03-07 17:56:50 发布
最新推荐文章于 2023-03-07 17:56:50 发布
阅读量1.3w 收藏 2
点赞数
分类专栏： ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014082714/article/details/102603833
版权

Elasticsearch聚合定义

聚合有助于基于搜索查询提供聚合数据。 它基于称为聚合的简单构建块，可以组合以构建复杂的数据。
基本语法结构如下：

"aggregations" : {
    "<aggregation_name>" : {
        "<aggregation_type>" : {
            <aggregation_body>
        }
        [,"meta" : {  [<meta_data_body>] } ]?
        [,"aggregations" : { [<sub_aggregation>]+ } ]?
    }
    [,"<aggregation_name_2>" : { ... } ]*
}

Elasticsearch聚合分类

es将聚合分析主要分为如下4类：

  • Bucket：分桶类型，类似SQL中的GROUP BY语法
  • Metric：指标分析类型，如计算最大值、最小值、平均值等等
  • Pipeline：管道分析类型，基于上一级的聚合分析结果进行在分析
  • Matrix：矩阵分析类型

先准备数据：

POST /cars/transactions/_bulk
{ "index": {}}
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" }
{ "index": {}}
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" }
{ "index": {}}
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" }
{ "index": {}}
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

Metric聚合分析

Metric聚合分析分为单值分析和多值分析两类：

  • 单值分析，只输出一个分析结果
min,max,avg,sum
cardinality

多值分析，输出多个分析结果

stats,extended stats
percentile,percentile rank
top hits

min,max,avg,sum

样例：

get /cars/transactions/_search
{
  "size": 0,//不返回文档列表
  "aggs":{
    "price_max":{
      "max": {
        "field": "price"
      }
    },
    
    "price_min":{
      "min": {
        "field": "price"
      }
    },
    "avg_price":{
      "avg":{
        "field":"price"
      }
    },
    "sum_price":{
      "sum":{
        "field":"price"
      }
    }
  }
  
}

cardinality

ardinality：意为集合的势，或者基数，是指不同数值的个数，类似SQL中的distinct count概念。
样例：

get /cars/transactions/_search
{
  "size": 0,//不返回文档列表
  "aggs":{
    "count_of_make":{
      "cardinality": {
        "field": "make.keyword"
      }
    }
  }
  
}

stats,extended stats

  • stats:返回一系列数值类型的统计值，包含min、max、avg、sum和count
  • extended stats：对stats的扩展，包含了更多的统计数据，比如方差、标准差等

样例：

get /cars/transactions/_search
{
  "size": 0,
  "aggs":{
    "stats_price":{
      "stats": {
        "field": "price"
      }
    }
  }
  
}

Percentile,Percentile Rank

  • Percentile: 百分位数统计。
  • Percentile Rank: 百分位数统计

Top Hits

Top Hits: 一般用于分桶后获取该桶内匹配的顶部文档列表，即详情数据

例如根据汽车厂商进行分组，并取每组价格最高的两条transactions（交易）数据

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "make.keyword"
      },
      "aggs": {
      "top_data": {
        "top_hits": {
          "size": 2,
          "_source": [
            "price",
            "color",
            "make"
          ],
          "sort": [
            {
              "price": {
                "order": "desc"
              }
            }
          ]
        }
      }
    }
    }
    
  }
}

结果：

#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_color" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "honda",
          "doc_count" : 3,
          "top_data" : {
            "hits" : {
              "total" : {
                "value" : 3,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "js_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "red",
                    "price" : 20000,
                    "make" : "honda"
                  },
                  "sort" : [
                    20000
                  ]
                },
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "ks_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "red",
                    "price" : 20000,
                    "make" : "honda"
                  },
                  "sort" : [
                    20000
                  ]
                }
              ]
            }
          }
        },
        {
          "key" : "ford",
          "doc_count" : 2,
          "top_data" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "j8_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "green",
                    "price" : 30000,
                    "make" : "ford"
                  },
                  "sort" : [
                    30000
                  ]
                },
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "lM_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "blue",
                    "price" : 25000,
                    "make" : "ford"
                  },
                  "sort" : [
                    25000
                  ]
                }
              ]
            }
          }
        },
        {
          "key" : "toyota",
          "doc_count" : 2,
          "top_data" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "kM_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "blue",
                    "price" : 15000,
                    "make" : "toyota"
                  },
                  "sort" : [
                    15000
                  ]
                },
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "kc_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "green",
                    "price" : 12000,
                    "make" : "toyota"
                  },
                  "sort" : [
                    12000
                  ]
                }
              ]
            }
          }
        },
        {
          "key" : "bmw",
          "doc_count" : 1,
          "top_data" : {
            "hits" : {
              "total" : {
                "value" : 1,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "cars",
                  "_type" : "transactions",
                  "_id" : "k8_K120B6sb1aJIMtJKa",
                  "_score" : null,
                  "_source" : {
                    "color" : "red",
                    "price" : 80000,
                    "make" : "bmw"
                  },
                  "sort" : [
                    80000
                  ]
                }
              ]
            }
          }
        }
      ]
    }
  }
}

Bucketing聚合

基于检索构成了逻辑文档组，满足特定规则的文档放置到一个桶里，每一个桶关联一个key。

这里写图片描述
类比Mysql中的group by操作，

最简单的分桶策略，直接按照term来分桶，如果是text类型，则按照分词后的结果分桶

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color.keyword"
      }
    },
     "group_by_make": {
      "terms": {
        "field": "make.keyword"
      }
    }
  }
}

注意点：如果不加.keyword会报错：

"error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [color] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    ],
...

Elasticsearch 5.x 版本开始支持通过text的内置字段keyword作精确查询、聚合分析.

Range,Date Range

  • Range: 通过制定数值的范围来设定分桶规则
  • Date Range: 通过指定日期的范围来设定分桶规则

样例：

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "range_price": {
      "range": {
        "field": "price",
        "ranges": [
          {
            "to": 20000
          },
          {
            "from": 20000,
            "to": 30000
          },
          {
            "from":50000
          }
        ]
      }
    }
  }
}

结果：

#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "range_price" : {
      "buckets" : [
        {
          "key" : "*-20000.0",
          "to" : 20000.0,
          "doc_count" : 3
        },
        {
          "key" : "20000.0-30000.0",
          "from" : 20000.0,
          "to" : 30000.0,
          "doc_count" : 3
        },
        {
          "key" : "50000.0-*",
          "from" : 50000.0,
          "doc_count" : 1
        }
      ]
    }
  }
}

Historgram,Date Histogram

  • Historgram: 直方图，以固定间隔的策略来分割数据
  • Date Histogram: 针对日期的直方图或者柱状图，是时序分析中常用的聚合分析类型

示例：

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "hist_price": {
      "histogram": {
        "field": "price",
        "interval": 20000, 
        "extended_bounds": 
          {
            "min": 10000,
            "max": 80000
          }
      }
    }
  }
}

结果：

#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "hist_price" : {
      "buckets" : [
        {
          "key" : 0.0,
          "doc_count" : 3
        },
        {
          "key" : 20000.0,
          "doc_count" : 4
        },
        {
          "key" : 40000.0,
          "doc_count" : 0
        },
        {
          "key" : 60000.0,
          "doc_count" : 0
        },
        {
          "key" : 80000.0,
          "doc_count" : 1
        }
      ]
    }
  }
}

Bucket + Metric聚合分析

Bucket聚合分析允许通过子分析来进一步进行分析，该分析可以是Bucket也可以是Metric，这也使得es的聚合分析能力变得异常强大

（1）分桶之后再分桶

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "group_by_make": {
      "terms": {
        "field": "make.keyword"
      },
      "aggs": {
        "range_price": {
          "range": {
            "field": "price",
            "ranges": [
              {
                "to": 20000
              },
              {
                "from": 20000,
                "to": 30000
              },
              {
                "from": 50000
              }
            ]
          }
        }
      }
    }
  }
}

结果：

#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_make" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "honda",
          "doc_count" : 3,
          "range_price" : {
            "buckets" : [
              {
                "key" : "*-20000.0",
                "to" : 20000.0,
                "doc_count" : 1
              },
              {
                "key" : "20000.0-30000.0",
                "from" : 20000.0,
                "to" : 30000.0,
                "doc_count" : 2
              },
              {
                "key" : "50000.0-*",
                "from" : 50000.0,
                "doc_count" : 0
              }
            ]
          }
        },
        {
          "key" : "ford",
          "doc_count" : 2,
          "range_price" : {
            "buckets" : [
              {
                "key" : "*-20000.0",
                "to" : 20000.0,
                "doc_count" : 0
              },
              {
                "key" : "20000.0-30000.0",
                "from" : 20000.0,
                "to" : 30000.0,
                "doc_count" : 1
              },
              {
                "key" : "50000.0-*",
                "from" : 50000.0,
                "doc_count" : 0
              }
            ]
          }
        },
        {
          "key" : "toyota",
          "doc_count" : 2,
          "range_price" : {
            "buckets" : [
              {
                "key" : "*-20000.0",
                "to" : 20000.0,
                "doc_count" : 2
              },
              {
                "key" : "20000.0-30000.0",
                "from" : 20000.0,
                "to" : 30000.0,
                "doc_count" : 0
              },
              {
                "key" : "50000.0-*",
                "from" : 50000.0,
                "doc_count" : 0
              }
            ]
          }
        },
        {
          "key" : "bmw",
          "doc_count" : 1,
          "range_price" : {
            "buckets" : [
              {
                "key" : "*-20000.0",
                "to" : 20000.0,
                "doc_count" : 0
              },
              {
                "key" : "20000.0-30000.0",
                "from" : 20000.0,
                "to" : 30000.0,
                "doc_count" : 0
              },
              {
                "key" : "50000.0-*",
                "from" : 50000.0,
                "doc_count" : 1
              }
            ]
          }
        }
      ]
    }
  }
}

（2）分桶后进行数据分析

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "group_by_make": {
      "terms": {
        "field": "make.keyword"
      },
      "aggs": {
        "stats_price":{
          "stats": {
            "field": "price"
          }
        }
      }
    }
  }
}

结果：

#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_make" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "honda",
          "doc_count" : 3,
          "stats_price" : {
            "count" : 3,
            "min" : 10000.0,
            "max" : 20000.0,
            "avg" : 16666.666666666668,
            "sum" : 50000.0
          }
        },
        {
          "key" : "ford",
          "doc_count" : 2,
          "stats_price" : {
            "count" : 2,
            "min" : 25000.0,
            "max" : 30000.0,
            "avg" : 27500.0,
            "sum" : 55000.0
          }
        },
        {
          "key" : "toyota",
          "doc_count" : 2,
          "stats_price" : {
            "count" : 2,
            "min" : 12000.0,
            "max" : 15000.0,
            "avg" : 13500.0,
            "sum" : 27000.0
          }
        },
        {
          "key" : "bmw",
          "doc_count" : 1,
          "stats_price" : {
            "count" : 1,
            "min" : 80000.0,
            "max" : 80000.0,
            "avg" : 80000.0,
            "sum" : 80000.0
          }
        }
      ]
    }
  }
}

聚合分析中的排序

根据厂商分组后并按照价格进行降序排列：

get /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "group_by_make": {
      "terms": {
        "field": "make.keyword",
        "order": {
          "avg_price": "desc"
        }
      },
      "aggs": {
        "avg_price":{
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

结果：

#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
  "took" : 26,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_make" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "bmw",
          "doc_count" : 1,
          "avg_price" : {
            "value" : 80000.0
          }
        },
        {
          "key" : "ford",
          "doc_count" : 2,
          "avg_price" : {
            "value" : 27500.0
          }
        },
        {
          "key" : "honda",
          "doc_count" : 3,
          "avg_price" : {
            "value" : 16666.666666666668
          }
        },
        {
          "key" : "toyota",
          "doc_count" : 2,
          "avg_price" : {
            "value" : 13500.0
          }
        }
      ]
    }
  }
}

 

liuhmmjj
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
elasticsearch笔记之文档基本操作
qq_41486775的博客
02-26 659
文章目录一、elasticsearch文档操作是什么？二、使用步骤1.添加数据2.获取数据3.更新数据4.查询语句标题简单查询语句标准查询语句两种分词的方式总结 一、elasticsearch文档操作是什么？ 我们都知道，在数据库里面，有很多的查询语句，插入数据，更新数据，删除数据等等，那么同理，在elasticsearch当中，也有类似的操作，只不过语法跟数据库不同罢了，那么究竟怎么使用呢？下面我们来看下。 二、使用步骤 1.添加数据 #往索引lhh里面加入一条信息 put /lhh/user/1 {
Elasticsearch 聚合分析深入学习
01-07
在学习聚合分析之前，我们先了解一下 Doc Values 和 Field Data 数据结构，我们知道倒排索引的优势在于查找包含某个项的文档，反过来确定哪些项是否在某个文档中并不高效，ES 为了满足排序、聚合以及执行脚本的需求...
ES关于文档的基本操作
微信公众号: 后端码匠
01-19 810
关于文档的基本操作 基本操作 添加数据 PUT /quanzhan/user/1 { "name": "xzM", "age": 18, "desc": "西西", "tags": ["技术宅", "温暖"] } 获取数据 GET quanzhan/user/1 更新数据 PUT /quanzhan/user/1 { "name": "xzM", "age": 18, "desc": "东东", "tags": ["技术宅", "温暖"] } Post _update 推荐使用
Elasticsearch 实战Query DSL搜索语法
JAVA拾贝
12-10 8766
Elasticsearch实战 欢迎关注公众号《小马JAVA》
2.Elasticsearch入门
LuckFairyLuckBaby的博客
03-07 648
Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。能够达到实时搜索，稳定，可靠，快速，安装使用方便。客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。创始人:Shay Banon（谢巴农）下载地址应用场景百度搜索商城搜索热榜搜索ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档 (document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。
elasticsearch7使用指导
古月哲亭
03-10 4629
elasticsearch简单使用
Elasticsearch聚合分析实战(2)
01-07
Elasticsearch聚合分析实战(2) 本文在前文基础上进一步通过学习度量分析和分组分析。示例数据可以点击这里下载。 环境准备 系统中提供1000条employee数据，读者可以通过POST /employees/_bulk命令批量插入至elastic...
Elasticsearch聚合分析实战(2)-employees.json
02-15
Elasticsearch聚合分析实战(2) 博客地址：https://blog.csdn.net/neweastsun/article/details/104324747
elasticsearch-7.17.6及对应版本IK分词
02-19
Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elasticsearch 中。Kibana 使您能够以交互方式探索、可视化和分享对数据的见解，...
elasticSearch查询语句DSL
最新发布
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
elasticsearch 文档增删改
my博客
11-10 3054
创建文档 _index、_type、_id三者唯一确定一个文档, 所以新增时需要自定义唯一的主键值或者使用elasticsearch 自动生成的主键 自动生成唯一_id POST 127.0.0.1:9200/person/doc/ { "name":"test", "age":20, "sex":"男" } 自定义 _id PUT person/doc/1/_create { "name":"test1", "age":22, "sex":"男"
Elasticsearch学习笔记
云想的博客
04-01 448
一、Elasticsearch 1.elasticsearch官网下载 以下使用版本为7.6.1，学习自b站up 遇见狂神说的 【狂神说Java】ElasticSearch7.6.x最新完整教程通俗易懂 2.下载es head插件 可视化 https://github.com/mobz/elasticsearch-head/ npm安装并启动 3.解决跨域问题 elasticsearch.yml配置文件末尾追加 http.cors.enabled: true http.cors.allow-origin:
基于kibana开发工具(Dev Tools )修改logstash模板
随便起个不重复的名字
07-28 2096
1.查询模板 GET _template/logstash #! Deprecation: [types removal] The parameter include_type_name should be explicitly specified in get template requests to prepare for 7.0. In 7.0 include_type_name will default to 'false', which means responses will omit
ES 7.9.0 初探之常见操作-match
圆师傅的博客
11-08 1182
文章目录1.前缀查询（prefix）2. 短语匹配（match_phrase）3.短语前缀匹配查询(match_phrase_prefix)4.多重匹配查询（Multi-match query）5.是否匹配前缀（match_bool_prefix） 上一篇我们使用ES进行了简单的CURD操作，今天来进行一点简单的匹配查询的操作。 首先来看一下我编了哪些数据： GET yytest/_search 得到的数据有 { "took" : 0, "timed_out" : false, "_shard
【谷粒商城】Elasticsearch学习记录
yaoxie1534的博客
06-23 992
简介 Mysql用于持久化存储，ES主要用于搜索 基本概念：index库>type表>document文档 1. Index库 动词：相当于mysql中的insert 名词：相当于mysql中的db 2. Type表 在index中可以定义一个或者多个类型 类似于mysql中的table,每一种类型都放在一起 3. Document文档 保存在某个index下，某种type的一个数据document，文档数据格式是json格式的，document就像mysql中某个table里面的内容，每一行对
ElasticSearch入门
AngleWang
11-27 2768
ElasticSearch入门
ES文档常见增删改查操作
攀登Fox的博客
09-24 2757
目录一、新增文档（Document）1.1、put方式（需手动指定id）1.2、post方式二、查询文档三、修改文档四、删除文档 一、新增文档（Document） 1.1、put方式（需手动指定id） 格式：PUT /index_name/type_name/id{field_name:field_value} 示例： PUT /test_index/my_type/1 { "name":"test_doc_01", "remark":"first test elastic put", "
Elasticsearch入门学习（二）
itman_cx的博客
05-29 275
ES的基本概念 索引 字段类型 文档 我们可以用关系型数据库来做个类比： 而ES则是面向文档的，文档是最小的单位，文档又有几个主要属性： 自我包含，一篇文档同时包含字段和对应的值，也就是同时包含 key:value！ 可以是层次型的，一个文档中包含自文档，复杂的逻辑实体就是这么来的！ {就是一个json对象！ fastjson进行自动转换！} 灵活的结构，文档不依赖预先定义的模式，我们知道关系型数据库中，要提前定义字段才能使用， 在elasticsearch中，对于字段是非常灵活的，有时候，我们可以
深耕ElasticSearch - 批量操作文档
你今天真好看呀
12-12 1341
文章目录1. 批量查询2. 批量创建/更新/删除文档2.1 删除文档2.2 强制创建文档2.3 索引文档2.4 全量替换文档2.5 部分更新文档2.6 不要重复指定Index 1. 批量查询 ES的速度已经很快了，但甚至能更快。 将多个请求合并成一个，避免单独处理每个请求花费的网络延时和开销。 如果你需要从ES检索很多文档，那么使用 multi-get或者 mget API 来将这些检索请求放在一个请求中，将比逐个文档请求更快地检索到全部文档。 如果一条一条的查询，要查询100条数据，那么就要发送100次网
操作es聚合操作并显示其他字段_Elasticsearch 之聚合分析入门
05-17
在 Elasticsearch 中，聚合操作是一种非常强大的数据分析工具，可以从数据中提取有意义的信息，帮助我们更好地了解数据。下面是一个简单的例子，演示如何使用聚合操作并显示其他字段。 假设你有一个存储了用户行为数据的索引，其中包含了用户的 ID、行为类型、行为时间等字段。现在，你想要对这些数据进行聚合分析，以了解不同用户的行为模式和时间分布情况，并在结果中显示用户的 ID。 以下是一个示例查询： ``` GET user_behavior/_search { "size": 0, "aggs": { "user_count": { "cardinality": { "field": "user_id" } }, "behavior_type": { "terms": { "field": "behavior_type" }, "aggs": { "time_distribution": { "date_histogram": { "field": "behavior_time", "interval": "day" } } } } } } ``` 这个查询使用了两个聚合操作： 1. `cardinality` 聚合操作统计了不同用户的数量，即用户总数。 2. `terms` 聚合操作按照行为类型进行分组，并在每个分组中使用 `date_histogram` 对行为时间进行分组，并且设置了按天进行时间间隔分组。 这个查询将返回一个包含聚合结果的响应体，其中包括了用户总数和每个行为类型的时间分布情况。此外，还可以看到每个行为类型的结果中包含了用户的 ID 字段。 需要注意的是，如果想要在聚合结果中显示其他字段，需要在聚合操作中添加该字段。例如，在上面的查询中，如果你还想要显示用户的姓名字段，需要将其添加到 `terms` 聚合操作中。 希望这个例子能够帮助你更好地理解 Elasticsearch 中的聚合操作，并且能够借此了解如何在聚合结果中显示其他字段。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值