elasticsearch dsl 查询聚合去重

最新推荐文章于 2024-09-08 11:05:50 发布

andy.cao

最新推荐文章于 2024-09-08 11:05:50 发布

阅读量2k

点赞数 1

分类专栏：工具服务器文章标签：搜索引擎 elasticsearch es 运维 hive

本文链接：https://blog.csdn.net/hljczm/article/details/113743454

版权

服务器同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

工具

5 篇文章 2 订阅

订阅专栏

报表需求，利用es进行存储

根据日期，查询每天某个渠道的访问量

GET service-xxx-logs*/_search
{
    "size": 0,
    "aggs": {
       "return_data": {
          "date_histogram": {
            "field": "@timestamp",
            "interval": "day"
          }
        }
     },
    "query": { 
      "bool": { 
        "must": [
          { "match": { "xxx": {"query": "xxxxxxxx"}}},
          { "match": { "channel": {"query": "00"}}}
        ],
        "filter": [ 
          { "range": {
              "@timestamp": {
               "gte": "now-10d", 
               "lt":  "now"
               }
            }
          }
        ]
      }
    }
}

针对如上查询语句，做个分解
聚合相关：aggs、date_histogram、field、interval、format

    "size": 0,
    "aggs": { //聚合
       "return_data": { //返回的字段值
          "date_histogram": { //es提供的时间处理函数
            "field": "@timestamp", //需要聚合的字段
            "interval": "day", //按天
            "format": "yyyy-MM-dd" //格式化
          }
        }
     }

查询条件

    "query": { 
      "bool": { 
        "must": [
          { "match": { "xxx": {"query": "xxxxxxxx"}}},//匹配条件 xxx为字段，xxxxx为对应的值
          { "match": { "channel": {"query": "00"}}}//channel为索引中的字段，00为值
        ],
        "filter": [ 
          { "range": {
              "@timestamp": {//根据日期进行过滤
               "gte": "now-10d", //10d表示10天之前
               "lt":  "now"  //当前时间
               }
            }
          }
        ]
      }
    }

查询结果：
在这里插入图片描述根据日期进行聚合，查询某个渠道的访问量

对访问的人员进行去重
函数：cardinality、xxx.keyword

"size": 0,
    "aggs": {
       "return_data": {
          "date_histogram": {
            "field": "@timestamp",
            "interval": "day",
            "format": "yyyy-MM-dd"
          },"aggs":{
            "return_data": {
              "cardinality": {  //es提供的去重函数
                "field": "user_id.keyword" //对访问的人员进行去重
              }
           }
         }
        }
     },
    "query": { 
      "bool": { 
        "must": [
          { "match": { "xxx": {"query": "xxxxx"}}},
          { "match": { "channel": {"query": "00"}}}
        ],
        "filter": [ 
          { "range": {
              "@timestamp": {
               "gte": "now-10d", 
               "lt":  "now"
               }
            }
          }
        ]
      }
    }