Elasticsearch03

1.数据聚合

1.1.聚合的种类

聚合常见的有三类：

• 桶（Bucket）聚合：用来对文档做分组

  • TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组

  • Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组

• 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等

  • Avg：求平均值

  • Max：求最大值

  • Min：求最小值

  • Stats：同时求max、min、avg、sum等

• 管道（pipeline）聚合：其它聚合的结果为基础做聚合

注意：参加聚合的字段必须是keyword、日期、数值、布尔类型

可分词的字段不能参与聚合(会影响聚合的结果)

1.2.DSL实现聚合

现在，我们要统计所有数据中的酒店品牌有几种，其实就是按照品牌对数据分组。此时可以根据酒店品牌的名称做聚合，也就是Bucket聚合。

1.2.1.Bucket聚合语法

语法如下：

GET /hotel/_search
{
  "size": 0,  // 设置size为0，结果中不包含文档，只包含聚合结果
  "aggs": { // 定义聚合
    "brandAgg": { //给聚合起个名字
      "terms": { // 聚合的类型，按照品牌值聚合，所以选择term
        "field": "brand", // 参与聚合的字段
        "size": 20 // 希望获取的聚合结果数量
      }
    }
  }
}

示例:

要求：统计酒店各个品牌的总数量

GET /hotel/_search
{
  "size": 0,  
  "aggs": { 
    "brandAgg": { 
      "terms": { 
        "field": "brand",
        "size": 20 
      }
    }
  }
}

1.2.2.聚合结果排序

默认情况下，Bucket聚合会统计Bucket内的文档数量，记为count，并且按照count降序排序。

我们可以指定order属性，自定义聚合的排序方式：

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "order": {
          "_count": "asc" // 按照_count升序排列
        },
        "size": 20
      }
    }
  }
}

 

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "order": {
          "_count": "desc"
        },
        "size": 20
      }
    }
  }
}

 

# 聚合分桶
GET /hotel/_search
{
  "query": {
    "match_all": {}
  }, 
  "size": 0, 
  "aggs": {
    "brandAggName": {
      "terms": {
        "field": "brand",
        "size": 10
      }
    },
    "cityAggName":{
      "terms": {
        "field": "city",
        "size": 10
      }
    }
  }
}

# 排序
GET /hotel/_search
{
  "query": {
    "match_all": {}
  }, 
  "size": 0, 
  "aggs": {
    "brandAggName": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "_count": "asc"
        }
      }
    },
    "cityAggName":{
      "terms": {
        "field": "city",
        "size": 10
      }
    }
  }
}

1.2.3.限定聚合范围

默认情况下，Bucket聚合是对索引库的所有文档做聚合，但真实场景下，用户会输入搜索条件，因此聚合必须是对搜索结果聚合。那么聚合必须添加限定条件。

我们可以限定要聚合的文档范围，只要添加query条件即可：

 

GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "lte": 200 // 只对200元以下的文档聚合
      }
    }
  }, 
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20
      }
    }
  }
}

# 限定聚合范围
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 1000,
        "lte": 3000
      }
    }
  }, 
  "size": 0, 
  "aggs": {
    "brandAggName": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "_count": "asc"
        }
      }
    },
    "cityAggName":{
      "terms": {
        "field": "city",
        "size": 10
      }
    }
  }
}

 

1.2.4.Metric聚合语法

上节中，我们对酒店按照品牌分组，形成了一个个桶。现在我们需要对桶内的酒店做运算，获取每个品牌的用户评分的min、max、avg等值。

这就要用到Metric聚合了，例如stat聚合：就可以获取min、max、avg等结果。

语法如下：

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": { 
      "terms": { 
        "field": "brand", 
        "size": 20
      },
      "aggs": { // 是brands聚合的子聚合，也就是分组后对每组分别计算
        "score_stats": { // 聚合名称
          "stats": { // 聚合类型，这里stats可以计算min、max、avg等
            "field": "score" // 聚合字段，这里是score
          }
        }
      }
    }
  }
}

要求根据酒店的品牌来统计个数，再次基础上统计各个桶中的price聚合数据，并按照price中聚合数据的avg进行排序。

# 桶内度量: 统计
GET /hotel/_search
{
  "query": {
    "match_all": {}
  }, 
  "size": 0, 
  "aggs": {
    "brandAggName": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "price_status.avg": "desc"
        }
      },
      "aggs": {
        "price_status": {
          "stats": {
            "field": "price"
          }
        }
      }
    }
  }
}

这次的score_stats聚合是在brandAgg的聚合内部嵌套的子聚合。因为我们需要在每个桶分别计算。

另外，我们还可以给聚合结果做个排序，例如按照每个桶的酒店平均分做排序：

# 对分桶后的数据进行聚合统计
GET /hotel/_search
{
  "size": 0, 
  "query": {
    "range": {
      "price": {
        "gte": 200,
        "lte": 500
      }
    }
  },
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "_count": "asc"
        }
      },
      "aggs": {
        "score_stats": {
          "stats": {
            "field": "price"
          }
        },
        "score_avg": {
          "avg": {
            "field": "price"
          }
        },
        "score_max": {
          "max": {
            "field": "price"
          }
        }
      }
    }
  }
}

GET /hotel/_search
{
  "size": 0, 
  "query": {
    "range": {
      "price": {
        "gte": 200,
        "lte": 500
      }
    }
  },
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "score_max": "asc" # 可以根据聚合函数处理的结果进行排序
        }
      },
      "aggs": {
        "score_stats": {
          "stats": {
            "field": "score"
          }
        },
        "score_avg": {
          "avg": {
            "field": "price"
          }
        },
        "score_max": {
          "max": {
            "field": "price"
          }
        }
      }
    }
  }
}

 

1.2.5.小结
aggs : 聚合的声明,与query同级别
query : 与聚合一起使用时,可以限定聚合数据
聚合必须的三要素：
- **聚合名称**: 给聚合起个名字,随意取名,做到见名知意即可
- **聚合类型**: max,min,avg,stats
- 聚合字段: 指定聚合字段后,聚合只对该字段生效
**聚合可配置属性有**：
- size：指定聚合结果数量
- order：指定聚合结果排序方式
- field：指定聚合字段

# 小结
GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10,
        "order": {
          "_count": "desc"
        }
      },
      "aggs": {
        "brandCityAgg": {
          "terms": {
            "field": "city",
            "size": 10,
            "order": {
              "price_avg": "desc"
            }
          }
        }
      }
    }
  }
}