ElasticSearch Aggregation(八)

最新推荐文章于 2024-01-23 07:30:00 发布
最新推荐文章于 2024-01-23 07:30:00 发布
阅读量406 收藏 1
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Suubyy/article/details/118940948
版权

文章目录

ElasticSearch Aggregation(八)

管道聚合

cumulative sum聚合

一种父管道聚合，它计算父直方图聚合中指定指标的累积和（当前分桶指标的累积和等于前几个桶指标的累加总和）。指定的指标必须是数值，并且外围的直方图必须将min_doc_count设置为0(直方图聚合的默认值)。

语法

cumulative_sum语法为：

{
  "cumulative_sum": {
    "buckets_path": "the_sum"
  }
}

以下代码段计算每月总销售额的累计总和：

curl -X POST "localhost:9200/sales/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        },
        "cumulative_sales": {
          "cumulative_sum": {
            "buckets_path": "sales" 
          }
        }
      }
    }
  }
}
'

响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "sales_per_month": {
         "buckets": [
            {
               "key_as_string": "2015/01/01 00:00:00",
               "key": 1420070400000,
               "doc_count": 3,
               "sales": {
                  "value": 550.0
               },
               "cumulative_sales": {
                  "value": 550.0
               }
            },
            {
               "key_as_string": "2015/02/01 00:00:00",
               "key": 1422748800000,
               "doc_count": 2,
               "sales": {
                  "value": 60.0
               },
               "cumulative_sales": {
                  "value": 610.0
               }
            },
            {
               "key_as_string": "2015/03/01 00:00:00",
               "key": 1425168000000,
               "doc_count": 2,
               "sales": {
                  "value": 375.0
               },
               "cumulative_sales": {
                  "value": 985.0
               }
            }
         ]
      }
   }
}

通过以上例子中2015/03/01 00:00:00桶中的累积和聚合为例。他的累积和等会550.0+60.0+375.0=985.0。

Derivative 聚合

衍生聚合。略

extended stats bucket聚合

同级管道聚合，它计算同级聚合中指定指标的所有存储桶的各种统计信息。指定的指标必须是数字，同级聚合必须是多桶聚合。

语法

extended_stats_bucket聚合语法为：

{
  "extended_stats_bucket": {
    "buckets_path": "the_sum"
  }
}

以下代码段计算每月销售桶的扩展统计数据：

curl -X POST "localhost:9200/sales/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        }
      }
    },
    "stats_monthly_sales": {
      "extended_stats_bucket": {
        "buckets_path": "sales_per_month>sales" 
      }
    }
  }
}
'

响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "sales_per_month": {
         "buckets": [
            {
               "key_as_string": "2015/01/01 00:00:00",
               "key": 1420070400000,
               "doc_count": 3,
               "sales": {
                  "value": 550.0
               }
            },
            {
               "key_as_string": "2015/02/01 00:00:00",
               "key": 1422748800000,
               "doc_count": 2,
               "sales": {
                  "value": 60.0
               }
            },
            {
               "key_as_string": "2015/03/01 00:00:00",
               "key": 1425168000000,
               "doc_count": 2,
               "sales": {
                  "value": 375.0
               }
            }
         ]
      },
      "stats_monthly_sales": {
         "count": 3,
         "min": 60.0,
         "max": 550.0,
         "avg": 328.3333333333333,
         "sum": 985.0,
         "sum_of_squares": 446725.0,
         "variance": 41105.55555555556,
         "variance_population": 41105.55555555556,
         "variance_sampling": 61658.33333333334,
         "std_deviation": 202.74505063146563,
         "std_deviation_population": 202.74505063146563,
         "std_deviation_sampling": 248.3109609609156,
         "std_deviation_bounds": {
           "upper": 733.8234345962646,
           "lower": -77.15676792959795,
           "upper_population" : 733.8234345962646,
           "lower_population" : -77.15676792959795,
           "upper_sampling" : 824.9552552551645,
           "lower_sampling" : -168.28858858849787
         }
      }
   }
}

最大桶聚合

一个同级管道聚合，它用同级聚合中指定指标的最大值来标识桶，并输出桶的值和键。指定的指标必须是数值，并且同级聚合必须是多桶聚合。

语法

max_bucket语法如下：

{
  "max_bucket": {
    "buckets_path": "the_sum"
  }
}

以下代码段计算每月总销售额的最大值：

curl -X POST "localhost:9200/sales/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        }
      }
    },
    "max_monthly_sales": {
      "max_bucket": {
        "buckets_path": "sales_per_month>sales" 
      }
    }
  }
}
'

以下可能是响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "sales_per_month": {
         "buckets": [
            {
               "key_as_string": "2015/01/01 00:00:00",
               "key": 1420070400000,
               "doc_count": 3,
               "sales": {
                  "value": 550.0
               }
            },
            {
               "key_as_string": "2015/02/01 00:00:00",
               "key": 1422748800000,
               "doc_count": 2,
               "sales": {
                  "value": 60.0
               }
            },
            {
               "key_as_string": "2015/03/01 00:00:00",
               "key": 1425168000000,
               "doc_count": 2,
               "sales": {
                  "value": 375.0
               }
            }
         ]
      },
      "max_monthly_sales": {
          "keys": ["2015/01/01 00:00:00"], 
          "value": 550.0
      }
   }
}

最小桶聚合

与最大桶聚合类似

moving function聚合

给定一系列有序的数据，Moving Function聚合将在数据之间生成一个滑动窗口，并允许用户指定在每个数据窗口上执行自定义脚本。为了方便起见，预定义了一些常用函数，如最小/最大值、移动平均值等。

语法

moving_fn聚合语法如下：

{
  "moving_fn": {
    "buckets_path": "the_sum",
    "window": 10,
    "script": "MovingFunctions.min(values)"
  }
}

moving_fn 聚合必须嵌入到直方图或 date_histogram 聚合中。它们可以像任何其他指标聚合一样嵌入：

curl -X POST "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "my_date_histo": {                  
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }   
        },
        "the_movfn": {
          "moving_fn": {
            "buckets_path": "the_sum",  
            "window": 10,
            "script": "MovingFunctions.unweightedAvg(values)"
          }
        }
      }
    }
  }
}
'

移动平均通过第一个指定的histogram或者date_histogram上的字段来构建。然后，您可以选择在该直方图中添加数字指标，例如总和。最后，moving_fn 被嵌入到直方图中。然后buckets_path 参数用于“指向”直方图中的同级指标之一。

来自上述聚合的示例响应可能如下所示：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "my_date_histo": {
         "buckets": [
             {
                 "key_as_string": "2015/01/01 00:00:00",
                 "key": 1420070400000,
                 "doc_count": 3,
                 "the_sum": {
                    "value": 550.0
                 },
                 "the_movfn": {
                    "value": null
                 }
             },
             {
                 "key_as_string": "2015/02/01 00:00:00",
                 "key": 1422748800000,
                 "doc_count": 2,
                 "the_sum": {
                    "value": 60.0
                 },
                 "the_movfn": {
                    "value": 550.0
                 }
             },
             {
                 "key_as_string": "2015/03/01 00:00:00",
                 "key": 1425168000000,
                 "doc_count": 2,
                 "the_sum": {
                    "value": 375.0
                 },
                 "the_movfn": {
                    "value": 305.0
                 }
             }
         ]
      }
   }
}
自定义用户脚本

移动函数聚合允许用户指定任意脚本来定义自定义逻辑。每次收集新的数据窗口时都会调用该脚本。这些值在values变量中提供给脚本。然后，脚本应该执行某种计算，并生成一个double作为结果。不允许发出null，尽管NaN和+/- Inf是允许的。

例如，此脚本将简单地返回窗口中的第一个值，如果没有可用值，则返回 NaN：

curl -X POST "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_sum": {
          "sum": { "field": "price" }
        },
        "the_movavg": {
          "moving_fn": {
            "buckets_path": "the_sum",
            "window": 10,
            "script": "return values.length > 0 ? values[0] : Double.NaN"
          }
        }
      }
    }
  }
}
'
内置函数
  • max()
  • min()
  • sum()
  • stdDev()
  • unweightedAvg()
  • linearWeightedAvg()
  • ewma()
  • holt()
  • holtWinters()

这些函数可从 MovingFunctions 命名空间获得。例如。MovingFunctions.max()

Moving percentiles聚合

给定一系列有序的百分位数，移动百分位数聚合将在这些百分位数上滑动一个窗口，并允许用户计算累积百分位数

这在概念上与移动函数管道聚合非常相似，不同之处在于它适用于百分位数草图而不是实际的桶值。

语法

move_percentiles 聚合看起来像这样：

{
  "moving_percentiles": {
    "buckets_path": "the_percentile",
    "window": 10
  }
}

move_percentiles 聚合必须嵌入到 histogram 或 date_histogram 聚合中。它们可以像任何其他指标聚合一样嵌入：

curl -X POST "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "my_date_histo": {                          
        "date_histogram": {
        "field": "date",
        "calendar_interval": "1M"
      },
      "aggs": {
        "the_percentile": {                     
            "percentiles": {
            "field": "price",
            "percents": [ 1.0, 99.0 ]
          }
        },
        "the_movperc": {
          "moving_percentiles": {
            "buckets_path": "the_percentile",   
            "window": 10
          }
        }
      }
    }
  }
}
'

以下可能是响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "my_date_histo": {
         "buckets": [
             {
                 "key_as_string": "2015/01/01 00:00:00",
                 "key": 1420070400000,
                 "doc_count": 3,
                 "the_percentile": {
                     "values": {
                       "1.0": 150.0,
                       "99.0": 200.0
                     }
                 }
             },
             {
                 "key_as_string": "2015/02/01 00:00:00",
                 "key": 1422748800000,
                 "doc_count": 2,
                 "the_percentile": {
                     "values": {
                       "1.0": 10.0,
                       "99.0": 50.0
                     }
                 },
                 "the_movperc": {
                   "values": {
                     "1.0": 150.0,
                     "99.0": 200.0
                   }
                 }
             },
             {
                 "key_as_string": "2015/03/01 00:00:00",
                 "key": 1425168000000,
                 "doc_count": 2,
                 "the_percentile": {
                    "values": {
                      "1.0": 175.0,
                      "99.0": 200.0
                    }
                 },
                 "the_movperc": {
                    "values": {
                      "1.0": 10.0,
                      "99.0": 200.0
                    }
                 }
             }
         ]
      }
   }
}

百分位桶聚合

同级管道聚合，计算同级聚合中指定指标的所有bucket的百分比。指定的指标必须是数值，并且同级聚合必须是多桶聚合。

语法

percentiles_bucket` 聚合看起来像这样：

{
  "percentiles_bucket": {
    "buckets_path": "the_sum"
  }
}

以下代码段计算每月总销售额的百分位数：

curl -X POST "localhost:9200/sales/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        }
      }
    },
    "percentiles_monthly_sales": {
      "percentiles_bucket": {
        "buckets_path": "sales_per_month>sales", 
        "percents": [ 25.0, 50.0, 75.0 ]         
      }
    }
  }
}
'

以下可能是响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "sales_per_month": {
         "buckets": [
            {
               "key_as_string": "2015/01/01 00:00:00",
               "key": 1420070400000,
               "doc_count": 3,
               "sales": {
                  "value": 550.0
               }
            },
            {
               "key_as_string": "2015/02/01 00:00:00",
               "key": 1422748800000,
               "doc_count": 2,
               "sales": {
                  "value": 60.0
               }
            },
            {
               "key_as_string": "2015/03/01 00:00:00",
               "key": 1425168000000,
               "doc_count": 2,
               "sales": {
                  "value": 375.0
               }
            }
         ]
      },
      "percentiles_monthly_sales": {
        "values" : {
            "25.0": 375.0,
            "50.0": 375.0,
            "75.0": 550.0
         }
      }
   }
}

stats bucket聚合

同级管道聚合，它计算同级聚合中指定度量的所有bucket的各种统计信息。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

语法

stats_bucket 聚合如下所示：

{
  "stats_bucket": {
    "buckets_path": "the_sum"
  }
}

以下代码段计算每月销售额的统计数据：

curl -X POST "localhost:9200/sales/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        }
      }
    },
    "stats_monthly_sales": {
      "stats_bucket": {
        "buckets_path": "sales_per_month>sales" 
      }
    }
  }
}
'

以下可能是响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "sales_per_month": {
         "buckets": [
            {
               "key_as_string": "2015/01/01 00:00:00",
               "key": 1420070400000,
               "doc_count": 3,
               "sales": {
                  "value": 550.0
               }
            },
            {
               "key_as_string": "2015/02/01 00:00:00",
               "key": 1422748800000,
               "doc_count": 2,
               "sales": {
                  "value": 60.0
               }
            },
            {
               "key_as_string": "2015/03/01 00:00:00",
               "key": 1425168000000,
               "doc_count": 2,
               "sales": {
                  "value": 375.0
               }
            }
         ]
      },
      "stats_monthly_sales": {
         "count": 3,
         "min": 60.0,
         "max": 550.0,
         "avg": 328.3333333333333,
         "sum": 985.0
      }
   }
}

sum bucket聚合

一个同级管道聚合，它计算同级聚合中指定度量的所有桶的总和。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

语法

sum_bucket 聚合看起来像这样：

{
  "sum_bucket": {
    "buckets_path": "the_sum"
  }
}

以下代码段计算所有每月总销售额的总和：

curl -X POST "localhost:9200/sales/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "price"
          }
        }
      }
    },
    "sum_monthly_sales": {
      "sum_bucket": {
        "buckets_path": "sales_per_month>sales" 
      }
    }
  }
}
'

以下可能是响应：

{
   "took": 11,
   "timed_out": false,
   "_shards": ...,
   "hits": ...,
   "aggregations": {
      "sales_per_month": {
         "buckets": [
            {
               "key_as_string": "2015/01/01 00:00:00",
               "key": 1420070400000,
               "doc_count": 3,
               "sales": {
                  "value": 550.0
               }
            },
            {
               "key_as_string": "2015/02/01 00:00:00",
               "key": 1422748800000,
               "doc_count": 2,
               "sales": {
                  "value": 60.0
               }
            },
            {
               "key_as_string": "2015/03/01 00:00:00",
               "key": 1425168000000,
               "doc_count": 2,
               "sales": {
                  "value": 375.0
               }
            }
         ]
      },
      "sum_monthly_sales": {
          "value": 985.0
      }
   }
}
666呀
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R语言使用cumsum函数计算向量数据的累加和（cumulative sum ）
sdgfbhgfj的博客
06-20 3390
R语言使用cumsum函数计算向量数据的累加和（cumulative sum ）
Elasticsearch-Pipeline Aggregation
qq_44447372的博客
04-05 256
管道概念:支持对聚合分析的结果进行再次聚合分词 Pipeline的分析结果会输出到原结果中,根据位置的不同,分为两类 Sibling --结果和现有分析结果同级 mac,min,avg & sum Bucket Stats,Extended Status Bucket Percentiles Bucket POST /employees/_search { "size":0, "aggs"...
MATLAB知识点：cumsum ：计算累积和（cumulative sum）
最新发布
数学建模学习交流的博客
01-23 1394
​讲解视频：可以在bilibili搜索《​。
累计求和的八种姿势(Cumulative Sum/running total/YTD)
SAP攻城狮
06-07 1万+
Q&A:       对AMOUNT字段累计求和实现八种姿势限定列-方式a限定列-方式b限定列-Current Member本地计算HANA计算视图-SQLHANA计算视图-图形动态计算列通过DTP将数据物化到模型限定列-方式a在Query Designer创建12个限定列，第1个限定列限定1月，第2个限定列限定1-2月……第12个限定列限定1-12月限定列-方式b使用常数选择，新建公式变...
Learning Elasticsearch 【含代码】
07-06
Create large-scale Elasticsearch clusters and perform analytics using aggregation A comprehensive guide to help you get up and running with Elasticsearch 5.0 in no time Book Description Elasticsearch ...
Elasticsearch.Essentials.1784391018.pdf
03-13
This book provides complete coverage of working with ElasticSearch using Python and performing CRUD operations and aggregation-based analytics, handling document relationships in the NoSQL world, ...
ElasticSearch 5.0 Cookbook
01-26
Elasticsearch is one of the most powerful solution, written with the cloud and distributed computing in mind. Its main author, Shay Banon, famous for having developed Compass ...
Elasticsearch for Hadoop
04-20
Lucene-enabled Elasticsearch is becoming an industry standard for its full-text search and aggregation capabilities. Elasticsearch-Hadoop serves as a perfect tool to bridge the worlds of Elastic...
Packt.Learning.Elasticsearch.pdf
12-12
Welcome to Learning Elasticsearch. We will start by describing the basics concepts and discuss how Elasticsearch handles failures and ensures high availability. You will see how to install Elastic...
cumulative sum
\s
05-26 912
def cumulative_sum(L): retL = [] sum = 0 for e in L: sum += e retL.append(sum) return retL L = [1,2,3] print cumulative_sum(L)
GPU实现Prefix Sum Scan (cumulative sum )算法
weixin_42849849的博客
04-12 790
背景 对给定NBATCH组数据 float Array[NBATCH][LENGTH]; 对每组数据需要进行一次forward正向scan sum运算，然后进行backward反向一次scan sum。这种操作来源于地震道数据在偏移前的反假频滤波需要。其中NBATCH数量级可在10k左右，LENGTH数量级在10k左右。 现有Thrust或CUB库没有提供适合多个数组的批量操作，对正反向结合也需要较复杂的逻辑表达。此外对于LENGTH较大的数组，需要考虑单精度数累加过程中精度丢失问题(rounding e
Elasticsearch 7.X-8.0 AggregationBuliders 相关聚合函数（二）桶聚合
Darling_Jiang的博客
02-19 703
桶聚合
Elasticsearch：Aggregation 简介
Elastic 中国社区官方博客
06-15 1504
Aggregation 在中文中也被称作聚合。简单地说，Elasticsearch 中的 aggregation 聚合将你的数据汇总为指标、统计数据或其他分析。聚合可帮助你回答以下问题： 我的网站的平均加载时间是多少？ 根据交易量，谁是我最有价值的客户？ 什么会被认为是我网络上的大文件？ 每个产品类别有多少产品？.........
es - elasticsearch - aggs - pipeline - moving_fn
我的博客
12-22 500
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 文章目录moving_fn作用配置项buckets_pathwindowshiftscript样例实例创建索引使用内置函数_min(values)返回结果内置函数_max(values)返回结果内置函数_sum(values)返回结果内置函数_unweightedAvg返回结果内置函数_stdDev(values, avg)返回结果内置函数_linearWeightedAvg(values)返回结果内置函数_ewma.
Elasticsearch：aggregation 介绍
Elastic 中国社区官方博客
11-02 6043
聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一，主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中，我们将解释Elasticsearch中的聚合（aggregation）并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合，并展示了如何利用聚合嵌套（对于facets而言这是不可能的）。 欢迎您在本文中复制所有示例代码。......
ElasticSearch 的 聚合（Aggregations）
hezheqiang的专栏
10-20 840
Elasticsearch有一个功能叫做 聚合(aggregations) ，它允许你在数据上生成复杂的分析统计。它很像SQL中的 GROUP BY 但是功能更强大。 Aggregations种类分为: Metrics, Metrics 是简单的对过滤出来的数据集进行avg,max等操作，是一个单一的数值。 Bucket, Bucket 你则可以理解为将过滤出来的数据集按条件分成多个小数据集...
Elasticsearch 之聚合分析
热门推荐
吴名氏的博客
11-15 4万+
Elasticsearch 之聚合分析
cumulative_sum
godme
11-27 565
influxDB累计求和：cumulative_sum
Elasticsearch terms aggregation
01-14
Elasticsearch的terms aggregation是一种用于对字段进行分组和统计的聚合操作。它可以根据指定的字段值将文档分组，并计算每个分组中文档的数量或其他统计信息。 以下是一个使用terms aggregation的示例： ```json...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值