2.ES-聚合查询

已于 2022-06-20 17:52:05 修改
阅读量1k 收藏 2
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch 大数据 big data
于 2022-05-19 15:51:14 首次发布
原文链接：https://www.bilibili.com/video/BV1334y1v7Lf?p=27
版权

文章目录


参照视频：https://www.bilibili.com/video/BV1334y1v7Lf?p=27

数据准备

PUT /tvs
{
  "mappings": {
    "properties": {
      "price": {
        "type": "long"
      },
      "color": {
        "type": "keyword"
      },
      "brand": {
        "type": "keyword"
      },
      "sold_date": {
        "type": "date"
      }
    }
  }
}



POST /tvs/_bulk
{ "index": {}}
{ "price" : 1000, "color" : "红色", "brand" : "长虹", "sold_date" : "2016-10-28" }
{ "index": {}}
{ "price" : 2000, "color" : "红色", "brand" : "长虹", "sold_date" : "2016-11-05" }
{ "index": {}}
{ "price" : 3000, "color" : "绿色", "brand" : "小米", "sold_date" : "2016-05-18" }
{ "index": {}}
{ "price" : 1500, "color" : "蓝色", "brand" : "TCL", "sold_date" : "2016-07-02" }
{ "index": {}}
{ "price" : 1200, "color" : "绿色", "brand" : "TCL", "sold_date" : "2016-08-19" }
{ "index": {}}
{ "price" : 2000, "color" : "红色", "brand" : "长虹", "sold_date" : "2016-11-05" }
{ "index": {}}
{ "price" : 8000, "color" : "红色", "brand" : "三星", "sold_date" : "2017-01-01" }
{ "index": {}}
{ "price" : 2500, "color" : "蓝色", "brand" : "小米", "sold_date" : "2017-02-12" }

分组统计

查询每种颜色的销量

GET /tvs/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            }
            
        }
    }
}

返回

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "popular_colors" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "红色",
          "doc_count" : 4
        },
        {
          "key" : "绿色",
          "doc_count" : 2
        },
        {
          "key" : "蓝色",
          "doc_count" : 2
        }
      ]
    }
  }
}

如何查询哪一种颜色销量最高呢

分组嵌套

查询每种颜色的销量以及每种颜色的平均价格

GET /tvs/_search 
{
  "size": 0,
  "aggs": {
    "popular_color": {
      "terms": {
        "field": "color"
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回

{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "popular_color" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "红色",
          "doc_count" : 4,
          "avg_price" : {
            "value" : 3250.0
          }
        },
        {
          "key" : "绿色",
          "doc_count" : 2,
          "avg_price" : {
            "value" : 2100.0
          }
        },
        {
          "key" : "蓝色",
          "doc_count" : 2,
          "avg_price" : {
            "value" : 2000.0
          }
        }
      ]
    }
  }
}

从颜色到品牌进行下钻分析，每种颜色的平均价格，以及找到每种颜色每个品牌的平均价格
我们可以进行多层次的下钻
比如说，现在红色的电视有4台，同时这4台电视中，有3台是属于长虹的，1台是属于小米的
红色电视中的3台长虹的平均价格是多少？
红色电视中的1台小米的平均价格是多少？

GET /tvs/_search
{
  "size": 0,
  "aggs": {
    "polular_color": {
      "terms": {
        "field": "color"
      },
      "aggs": {
        "aggs_by_brand": {
          "terms": {
            "field": "brand"
          },
          "aggs": {
            "brand_avg_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

返回

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "polular_color" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "红色",
          "doc_count" : 4,
          "aggs_by_brand" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "长虹",
                "doc_count" : 3,
                "brand_avg_price" : {
                  "value" : 1666.6666666666667
                }
              },
              {
                "key" : "三星",
                "doc_count" : 1,
                "brand_avg_price" : {
                  "value" : 8000.0
                }
              }
            ]
          }
        },
        {
          "key" : "绿色",
          "doc_count" : 2,
          "aggs_by_brand" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "TCL",
                "doc_count" : 1,
                "brand_avg_price" : {
                  "value" : 1200.0
                }
              },
              {
                "key" : "小米",
                "doc_count" : 1,
                "brand_avg_price" : {
                  "value" : 3000.0
                }
              }
            ]
          }
        },
        {
          "key" : "蓝色",
          "doc_count" : 2,
          "aggs_by_brand" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "TCL",
                "doc_count" : 1,
                "brand_avg_price" : {
                  "value" : 1500.0
                }
              },
              {
                "key" : "小米",
                "doc_count" : 1,
                "brand_avg_price" : {
                  "value" : 2500.0
                }
              }
            ]
          }
        }
      ]
    }
  }
}

histogram

histogram：类似于terms，也是进行bucket分组操作，接收一个field，按照这个field的值的各个范围区间，进行bucket分组操作

“histogram”:{
“field”: “price”,
“interval”: 2000
},

interval：2000，划分范围，02000，20004000，40006000，60008000，8000~10000，buckets

去根据price的值，比如2500，看落在哪个区间内，比如20004000，此时就会将这条数据放入20004000对应的那个bucket中

GET /tvs/_search 
{
  "size": 0,
  "aggs": {
    "price": {
      "histogram": {
        "field": "price",
        "interval": 2000
      }
    }
  }
}

返回
{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "price" : {
      "buckets" : [
        {
          "key" : 0.0,
          "doc_count" : 3
        },
        {
          "key" : 2000.0,
          "doc_count" : 4
        },
        {
          "key" : 4000.0,
          "doc_count" : 0
        },
        {
          "key" : 6000.0,
          "doc_count" : 0
        },
        {
          "key" : 8000.0,
          "doc_count" : 1
        }
      ]
    }
  }
}

date_histogram

GET /tvs/_search
{
   "size" : 0,
   "aggs": {
      "sales": {
         "date_histogram": {
            "field": "sold_date",
            "interval": "month", 
            "format": "yyyy-MM-dd",
            "min_doc_count" : 0, 
            "extended_bounds" : { 
                "min" : "2016-01-01",
                "max" : "2017-12-31"
            }
         }
      }
   }
}


{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "sales" : {
      "buckets" : [
        {
          "key_as_string" : "2016-01-01",
          "key" : 1451606400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-02-01",
          "key" : 1454284800000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-03-01",
          "key" : 1456790400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-04-01",
          "key" : 1459468800000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-05-01",
          "key" : 1462060800000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2016-06-01",
          "key" : 1464739200000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-07-01",
          "key" : 1467331200000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2016-08-01",
          "key" : 1470009600000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2016-09-01",
          "key" : 1472688000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-10-01",
          "key" : 1475280000000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2016-11-01",
          "key" : 1477958400000,
          "doc_count" : 2
        },
        {
          "key_as_string" : "2016-12-01",
          "key" : 1480550400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-01-01",
          "key" : 1483228800000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2017-02-01",
          "key" : 1485907200000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2017-03-01",
          "key" : 1488326400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-04-01",
          "key" : 1491004800000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-05-01",
          "key" : 1493596800000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-06-01",
          "key" : 1496275200000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-07-01",
          "key" : 1498867200000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-08-01",
          "key" : 1501545600000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-09-01",
          "key" : 1504224000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-10-01",
          "key" : 1506816000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-11-01",
          "key" : 1509494400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2017-12-01",
          "key" : 1512086400000,
          "doc_count" : 0
        }
      ]
    }
  }
}

搜索后再聚合

GET /tvs/_search 
{
  "size": 0,
  "query": {
    "term": {
      "brand": {
        "value": "小米"
      }
    }
  },
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color"
      }
    }
  }
}

同时实现基于搜索结果聚合，基于总体数据聚合

查询所有品牌的平均价格，查询长虹品牌的平均价格

GET /tvs/_search
{
  "size": 0,
  "query": {
    "term": {
      "brand": {
        "value": "长虹"
      }
    }
  },
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    },
    "all": {
      "global": {},
      "aggs": {
        "avg_all_brand": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "all" : {
      "doc_count" : 8,
      "avg_all_brand" : {
        "value" : 2650.0
      }
    },
    "avg_price" : {
      "value" : 1666.6666666666667
    }
  }
}

global：就是global bucket，就是将所有数据纳入聚合的scope，而不管之前的query

过滤+聚合

GET /tvs/_search 
{
  "size": 0,
  "query": {
    "constant_score": {
      "filter": {
        "range": {
          "price": {
            "gte": 1200
          }
        }
      }
    }
  },
  "aggs": {
    "avg_price": {
      "avg": {"field": "price"}
    }
  }
}

在聚合桶中再filter

查询最近130天内的平均价格，最近140天内的平均价格，最近150天内的平均价格

如果在query中过滤，就会影响全局，如果在聚合aggs中过滤，则只会影响当前桶
首先我们先建立三个桶

GET /tvs/_search 
{
  "size": 0,
  "aggs": {
    "recent_130d": {
      "filter": {
        "range": {
          "sold_date": {
            "gte": "now-130d"
          }
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {"field": "price"}
        }
      }
    },
    "recent_140d":{
      "filter": {
        "range": {
          "sold_date": {
            "gte": "now-140d"
          }
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {"field": "price"}
        }
      }
    },
    "recent_150d":{
      "filter": {
        "range": {
          "sold_date": {
            "gte": "now-150d"
          }
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {"field": "price"}
        }
      }
    }
  }
}

修改聚合默认排序

聚合默认是按照桶的个数降序排列的，现在要求按照每种颜色的平均价格排序

GET /tvs/_search 
{
  "size": 0,
  "aggs": {
    "color": {
      "terms": {
        "field": "color",
        "order": {
          "avg_price":"asc"
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {"field": "price"}
        }
      }
    }
    
  }
}

多次下钻后再聚合

GET /tvs/_search 
{
  "size": 0,
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color"
      },
      "aggs": {
        "group_by_brand": {
          "terms": {
            "field": "brand",
            "order": {
              "avg_price": "desc"
            }
          },
          "aggs": {
            "avg_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

在聚合桶中显示文档列表

GET /tvs/_search 
{
  "size": 0,
  "aggs": {
    "color": {
      "terms": {
        "field": "color"
      },
      "aggs": {
        "result": {
          "top_hits": {
            "size": 3,
             "_source": {
             "includes": [ "brand","price"]
           }
          }
        }
      }
    }
    
  }
}

显示

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 16,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "color" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "红色",
          "doc_count" : 8,
          "result" : {
            "hits" : {
              "total" : {
                "value" : 8,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "yT0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 1000,
                    "brand" : "长虹"
                  }
                },
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "yj0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 2000,
                    "brand" : "长虹"
                  }
                },
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "zj0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 2000,
                    "brand" : "长虹"
                  }
                }
              ]
            }
          }
        },
        {
          "key" : "绿色",
          "doc_count" : 4,
          "result" : {
            "hits" : {
              "total" : {
                "value" : 4,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "yz0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 3000,
                    "brand" : "小米"
                  }
                },
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "zT0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 1200,
                    "brand" : "TCL"
                  }
                },
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "0z0924ABVJ0VnydxxPdV",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 3000,
                    "brand" : "小米"
                  }
                }
              ]
            }
          }
        },
        {
          "key" : "蓝色",
          "doc_count" : 4,
          "result" : {
            "hits" : {
              "total" : {
                "value" : 4,
                "relation" : "eq"
              },
              "max_score" : 1.0,
              "hits" : [
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "zD0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 1500,
                    "brand" : "TCL"
                  }
                },
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "0D0824ABVJ0Vnydxc_fY",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 2500,
                    "brand" : "小米"
                  }
                },
                {
                  "_index" : "tvs",
                  "_type" : "_doc",
                  "_id" : "1D0924ABVJ0VnydxxPdV",
                  "_score" : 1.0,
                  "_source" : {
                    "price" : 1500,
                    "brand" : "TCL"
                  }
                }
              ]
            }
          }
        }
      ]
    }
  }
}

去重 cartinality

top_hits的简单使用获取最早进 最晚出的数据

原文档：https://blog.csdn.net/weixin_44131414/article/details/124122602
需求:
业务 需要知道工人打卡记录最早进 与 最早出 一天记录原始信息,现通过 top_hits来实现

GET /hw-attendance-2022-3month/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "record_time": {
              "gte": "2022-03-07T00:00:00",
              "lte": "2022-03-08T00:00:00"
            }
          }
        },
        {
          "match":{
            "idcardno.keyword":"53212*******1613"
          }
        }
      ]
      
    }
  }
  ,"size":0,
  "aggs": {
    "groupBy_idcardno": {
      "terms": { --对人员身份证进行分桶
        "field": "idcardno.keyword",
        "size": 50
      },
      "aggs": {
        "groupBy_recordtime":{
          "date_histogram": { --对人员打卡日期,以天为单位进行分桶
            "field": "record_time",
            "calendar_interval": "day",
            "format": "yyyy-MM-dd" ,
            "min_doc_count" : 0
          },
            "aggs": {
              "idcard_recordTime_top_last": {--通过top_hits排序获取最晚出的记录
                "top_hits": {
                  "sort": [
                    { 
                      "record_time": {
                        "order": "desc"
                      }
                    }
                  ], 
                "size": 1
                
              }
            },
            "idcard_recordTime_earliest": {--通过top_hits排序获取最早进的记录
                "top_hits": {
                  "sort": [
                    { 
                      "record_time": {
                        "order": "asc"
                      }
                    }
                  ], 
                "size": 1
                
              }
            }
          }
        }
      }
      
    }
  }

}

返回结果

{
  "took" : 69,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 281,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "record_date_partiton" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "532122*******1613",
          "doc_count" : 281,
          "groupBy_recordtime" : {
            "buckets" : [
              {
                "key_as_string" : "2022-03-07",
                "key" : 1646611200000,
                "doc_count" : 281,
                "idcard_recordTime_earliest" : {
                  "hits" : {
                    "total" : {
                      "value" : 281,
                      "relation" : "eq"
                    },
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "hw-attendance-2022-3month",
                        "_type" : "_doc",
                        "_id" : "PFywaH8BGUfFSK8ILMmm",
                        "_score" : null,
                        "_source" : {
                          "app_key" : "8134",
                          "sn" : "5437405391420012470I",
                          "equp_name" : "Other",
                          "pid" : 0,
                          "record_time" : "2022-03-07T06:04:17",
                          "full_name" : "赵***",
                          "photo_path" : "",
                          "idcardno" : "532*********1613",
                          "mobile" : "",
                          "tid" : "0",
                          "direct" : 1,
                          "insert_time" : "2022-03-08T16:40:50"
                        },
                        "sort" : [
                          1646633057000
                        ]
                      }
                    ]
                  }
                },
                "idcard_recordTime_top_last" : {
                  "hits" : {
                    "total" : {
                      "value" : 281,
                      "relation" : "eq"
                    },
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "hw-attendance-2022-3month",
                        "_type" : "_doc",
                        "_id" : "qIOSZ38BPDXhbVpyFFgY",
                        "_score" : null,
                        "_source" : {
                          "app_key" : "8134",
                          "sn" : "5437405391420012470I",
                          "equp_name" : "Other",
                          "pid" : 0,
                          "record_time" : "2022-03-07T17:35:49",
                          "full_name" : "赵**",
                          "photo_path" : "",
                          "idcardno" : "5321**********613",
                          "mobile" : "",
                          "tid" : "0",
                          "direct" : 1,
                          "insert_time" : "2022-03-08T11:28:20"
                        },
                        "sort" : [
                          1646674549000
                        ]
                      }
                    ]
                  }
                }
              }
            ]
          }
        }
      ]
    }
  }
}

去重 聚合查询例子

pv: 所有人的pv相加
uv: 对userid进行去重
total_visit_time: 总访问时长
return_visit_uv: 回访uv
bounce_visit_uv: 跳出次数

curl -XGET ‘http://localhost:9200/logstash-2017.10.14/logs/_search?q=section:news&pretty’ -d ’
{
“size”: 0,
“aggs”: {
“pv”: {“sum”: {“field”: “pv”}},
“uv”: {“cardinality”: {“field”: “userid”, “precision_threshold”: 40000}},
“total_visit_time”: {“sum”: {“field”: “visit_time”}},
“return_visit_uv”: {
“filter”: {“term”: {“is_return_visit”: 1}},
“aggs”: {
“total_return_visit_uv”: {“cardinality”: {“field”: “userid”, “precision_threshold”: 40000}}
}
},
“bounce_visit_uv”: {
“filter”: {“term”: {“is_bounce_visit”: 1}},
“aggs”: {
“total_bounce_visit_uv”: {“cardinality”: {“field”: “userid”, “precision_threshold”: 40000}}
}
}
}
}’

yan_baby_liu
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch 高级查询语法Query DSL 2
星空下的博客
07-04 648
Elasticsearch除搜索以外，提供了针对ES 数据进行统计分析的功能。聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。例如： 聚合的分类 Metric Aggregation：—些数学运算，可以对文档字段进行统计分析，类比Mysql中的 min(), max(), sum() 操作。 Bucket Aggregation： 一些满足特定条件的文档的集合放置到一个桶里，每一个桶关联一个key，类比Mysql中的group by操作。 Pipeline A
elasticsearch之多索引查询
无风听海
12-31 1万+
一、问题源起 在elasticsearch的查询中，我们一般直接通过URL来设置要search的index； 如果我们需要查询的索引比较多并且没有什么规律的话，就会面临一个尴尬的局面，超过URL的长度限制； 二、测试环境 elasticsearch 6.8.12 测试数据 新增三个测试的index，每个index里边一个document； PUT test1/_doc/1 { "id":1, "name":"test1-1" } # { # "_index" : "test1", # "
es的聚合查询（二）
最新发布
lixiaobai_boke的博客
04-11 483
es的分桶聚合、指标聚合、管道聚合
elasticsearch删除索引_ES的跨索引查询有多便利？对比下分库分表、分片更直观
weixin_39884270的博客
11-30 591
作者介绍李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。序言Elasticsearch，中文名直译弹性搜索，不仅...
ES如何搜索两个索引
Dxy1239310216的博客
01-27 1041
总的来说，只要字段名称和类型在两个索引中是一致的，并且你的查询语句与这些字段兼容，那么你应该能够从这两个索引中进行联合查询。如果你遇到任何问题，建议查看ES的日志或错误消息，以获取关于问题的更多详细信息。在Elasticsearch（ES）中，索引是存储和查询数据的地方，而联合查询是查询多个索引的能力。当你在ES中查询时，可以指定要查询的索引。如果你要查询两个不同的索引，你可以在查询中明确指定这两个索引。
elasticsearch 跨索引联合多条件查询
Lifelong learning
04-04 6299
Elasticsearch 是一个实时的分布式、RESTful 风格的搜索和数据分析引擎。可以在承载了 PB 级数据的成百上千台服务器上运行。
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
elasticsearch-7.17.6及对应版本IK分词
02-19
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索...随着您的数据和查询量的增长，Elasticsearch 的分布式特性使您的部署能够随之无缝增长
Elasticsearch高级聚合查询
09-22
代码示例
install-elasticsearch-cluster.sh
06-20
一键安装elasticsearch脚本，Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集...随着您的数据和查询量的增长，Elasticsearch 的分布式特性使您的部署能够随之无缝增长。
elasticaggregator-php:在 PHP 中更简单的 ElasticSearch 聚合查询
06-07
这将破坏与此初始版本的代码兼容性在任何查询级别支持多个聚合（当前所有分桶聚合都嵌套在前一个聚合中） 提高库的整体灵活性，现在这只适用于琐碎的用例为所有现有的聚合查询编写测试使用 4 个空格而不是制表符？...
elasticsearch搜索引擎的常用方法(四)聚合检索aggs
Misaki_root的博客
07-08 2155
一、常用的聚合检索语句 统计news索引下的所有新闻的发布机构分别有哪些 GET news/_search { "aggs": { "publish_org": { "terms": { "field": "publish_org.keyword", "size": 10 } } }, "size": 0 } 注意： 聚合的字段不能时text类型字段 结果如下： { "took" : 32, ..
ES7.x 聚合相关【聚合&索引迁移、重建、别名】
PHPerJiang
10-21 1965
聚合 聚合有以下四个种类 Bucket Aggregation 一些列满足特定条件的文档的集合，给字段分桶，比如给性别分类，一个user文档属于哪个性别。 GET movies/_search { "size": 0, "aggs": { "year": { "terms": { "field": "year" } } ...
ElasticSearch是什么？Lucene是什么？
jj89929665的博客
02-02 726
ElasticSearch 分布式全文检索引擎 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口（请求分类 get post delete put）。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python
java代码实现es索引合并
weixin_49259158的博客
04-07 715
可以根据es的高级查询获取所有的索引，然后可以根据索引的创建时间和数据条数等条件做出筛选。以上是根据条件获取的索引，会返回一个list集合。还可以根据更多筛选条件实现请自行扩展。然后根据现有的索引去进行索引合并。
es-聚合性能优化
langsiming的博客
01-09 3475
优化方案： 启用 eager global ordinals 提升高基数聚合性能 应用场景： ● 基于 keyword，ip 等字段的分桶聚合，包含：terms聚合、composite 聚合等。 ● 基于text 字段的分桶聚合（前提条件是：fielddata 开启）。 ● 基于父子文档 Join 类型的 has_child 查询和 父聚合。 global ordinals 使用一个数值代表字段中的字符串值，然后为每一个数值分配一个 bucket（分桶） 插入数据时对索引进行预排序 ● ndex sort
es倒排索引_带你走进神一样的Elasticsearch索引机制
weixin_39780784的博客
11-20 1007
前言相比于大多数人熟悉的MySQL数据库的索引，Elasticsearch的索引机制是完全不同于MySQL的B+Tree结构。索引会被压缩放入内存用于加速搜索过程，这一点在效率上是完爆MySQL数据库的。但是Elasticsearch会对全部text字段进行索引，必然会消耗巨大的内存，为此Elasticsearch针对索引进行了深度的优化。在保证执行效率的同时，尽量缩减内存空间的占用。这篇文章就深...
es获得所有index和type
热门推荐
Libbytian
10-08 5万+
1.获得所有index rest方式： curl 'localhost:9200/_cat/indices?v' JAVA方式： GetIndexResponse response = client.admin().indices().prepareGetIndex().execute().actionGet(); System.out.println(response.getIndices()...
【es】聚合查询
tom春的博客
04-19 4573
聚合查询
elasticsearch-7.17.2-windows-x86_64
05-09
总体来说，Elasticsearch-7.17.2-windows-x86_64 是一个功能丰富的搜索引擎软件，能够轻松地处理常规的聚合、过滤和排序等，而对于非结构化数据的高效存储与处理，以及对搜索和实时分析的支持，也能够满足大量企业级...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值