ES group by 2层后排序

最新推荐文章于 2022-10-20 01:53:58 发布
最新推荐文章于 2022-10-20 01:53:58 发布
阅读量300 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/joy_pan/article/details/125283053
版权

背景：
用户查看推广的店铺。并展示每个店铺下展示3条用户有权推广的商品，并展示推广佣金率。

关键字段
item_id商品ID，shop_id店铺ID，promoter_id用户ID(0代表所有用户都可以推广)，rate佣金率。

实现思路：

  1. 查出所有店铺集合。
  2. 根据店铺ID集合查出商品，每个店铺查3条，根据佣金率倒序。

下面展示查商品的ES脚本。

# 根据shop_id分组，再根据item_id分组，每个shop_id取3条商品，商品根据rate倒序。
GET /cdc_promoter/_search
{
  "query": {
    "bool": {
      "should": [
        {"term": {
          "promoter_id": 0
        }},
        {"term": {
          "promoter_id": 305060
        }}
      ],
      "minimum_should_match": 1, 
      "must": [
        {
          "term": {
            "delete_mark": 0
          }
        }
      ]
    }
  },
  "size": 0,
  "aggs": {
    "group_by_shop_id": {
      "terms": {
        "field": "shop_id",
        "size": 2
      },
      "aggs": {
        "group_by_item_id": {
          "terms": {
            "field": "item_id",
            "size": 3
          },
      "aggs": {
        "top_hits_promoter_id": {
          "top_hits": {
            "size": 1,
            "sort": [{
              "promoter_id": {
                "order": "desc"
              }
            }]
          }
        },
        "max_rate" : {
          "max": {
            "field": "rate"
          }
        },
        "sort_page": { 
          "bucket_sort": { 
            "sort": [
              {
                "max_rate": { 
                  "order": "desc"
                }
              }
            ],
            "from": 0,  
            "size": 3
          }
        }
      }
        }
      }
    }
  }
}

结果

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 240,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_shop_id" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 202,
      "buckets" : [
        {
          "key" : 10008700,
          "doc_count" : 19,
          "group_by_item_id" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 16,
            "buckets" : [
              {
                "key" : 347943,
                "doc_count" : 1,
                "top_hits_promoter_id" : {
                  "hits" : {
                    "total" : 1,
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "cdc_promoter_202206081400",
                        "_type" : "_doc",
                        "_id" : "193",
                        "_score" : null,
                        "_source" : {
                          "id" : 193,
                          "shop_id" : 10008700,
                          "item_id" : 347943,
                          "promoter_id" : 0,
                          "rate_type" : 0,
                          "rate" : 5000,
                          "gmt_created" : "2022-06-08T13:53:06+08:00",
                          "gmt_modified" : "2022-06-08T15:45:34+08:00",
                          "delete_mark" : 0,
                          "delete_timestamp" : 0,
                          "audit_item_id" : null,
                          "__op" : "u",
                          "__null_ts_ms" : 1654674334449,
                          "seller_user_status" : 5,
                          "seller_user_delete_mark" : 0,
                          "seller_expire_time" : "2021-09-15T10:00:27+08:00",
                          "sales_volume" : 0
                        },
                        "sort" : [
                          0
                        ]
                      }
                    ]
                  }
                },
                "max_rate" : {
                  "value" : 5000.0
                }
              },
              {
                "key" : 348241,
                "doc_count" : 1,
                "top_hits_promoter_id" : {
                  "hits" : {
                    "total" : 1,
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "cdc_promoter_202206081400",
                        "_type" : "_doc",
                        "_id" : "204",
                        "_score" : null,
                        "_source" : {
                          "id" : 204,
                          "shop_id" : 10008700,
                          "item_id" : 348241,
                          "promoter_id" : 0,
                          "rate_type" : 0,
                          "rate" : 5000,
                          "gmt_created" : "2022-06-08T13:53:06+08:00",
                          "gmt_modified" : "2022-06-08T15:45:35+08:00",
                          "delete_mark" : 0,
                          "delete_timestamp" : 0,
                          "audit_item_id" : null,
                          "__op" : "u",
                          "__null_ts_ms" : 1654674335354,
                          "seller_user_status" : 5,
                          "seller_user_delete_mark" : 0,
                          "seller_expire_time" : "2021-11-30T16:54:01+08:00",
                          "sales_volume" : 0
                        },
                        "sort" : [
                          0
                        ]
                      }
                    ]
                  }
                },
                "max_rate" : {
                  "value" : 5000.0
                }
              },
              {
                "key" : 347899,
                "doc_count" : 1,
                "top_hits_promoter_id" : {
                  "hits" : {
                    "total" : 1,
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "cdc_promoter_202206081400",
                        "_type" : "_doc",
                        "_id" : "205",
                        "_score" : null,
                        "_source" : {
                          "id" : 205,
                          "shop_id" : 10008700,
                          "item_id" : 347899,
                          "promoter_id" : 0,
                          "rate_type" : 0,
                          "rate" : 1000,
                          "gmt_created" : "2022-06-08T13:53:06+08:00",
                          "gmt_modified" : "2022-06-08T15:45:35+08:00",
                          "delete_mark" : 0,
                          "delete_timestamp" : 0,
                          "audit_item_id" : null,
                          "__op" : "u",
                          "__null_ts_ms" : 1654674335418,
                          "seller_user_status" : 5,
                          "seller_user_delete_mark" : 0,
                          "seller_expire_time" : "2021-10-13T11:08:27+08:00",
                          "sales_volume" : 0
                        },
                        "sort" : [
                          0
                        ]
                      }
                    ]
                  }
                },
                "max_rate" : {
                  "value" : 1000.0
                }
              }
            ]
          }
        },
        {
          "key" : 10008984,
          "doc_count" : 19,
          "group_by_item_id" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 16,
            "buckets" : [
              {
                "key" : 351263,
                "doc_count" : 1,
                "top_hits_promoter_id" : {
                  "hits" : {
                    "total" : 1,
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "cdc_promoter_202206081400",
                        "_type" : "_doc",
                        "_id" : "321",
                        "_score" : null,
                        "_source" : {
                          "id" : 134,
                          "seller_user_delete_mark" : 0,
                          "shop_id" : 10008984,
                          "seller_expire_time" : "2023-04-14T17:40:53+08:00",
                          "seller_user_status" : 2,
                          "__op" : "u",
                          "__null_ts_ms" : 1654739723673,
                          "item_id" : 351263,
                          "sales_volume" : 0,
                          "gmt_modified" : "2022-06-08T15:45:42+08:00",
                          "rate_type" : 0,
                          "promoter_id" : 0,
                          "delete_timestamp" : 0,
                          "rate" : 2000,
                          "audit_item_id" : null,
                          "gmt_created" : "2022-06-08T15:45:42+08:00",
                          "delete_mark" : 0
                        },
                        "sort" : [
                          0
                        ]
                      }
                    ]
                  }
                },
                "max_rate" : {
                  "value" : 2000.0
                }
              },
              {
                "key" : 351305,
                "doc_count" : 1,
                "top_hits_promoter_id" : {
                  "hits" : {
                    "total" : 1,
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "cdc_promoter_202206081400",
                        "_type" : "_doc",
                        "_id" : "322",
                        "_score" : null,
                        "_source" : {
                          "id" : 134,
                          "seller_user_delete_mark" : 0,
                          "shop_id" : 10008984,
                          "seller_expire_time" : "2023-04-14T17:40:53+08:00",
                          "seller_user_status" : 2,
                          "__op" : "u",
                          "__null_ts_ms" : 1654739723673,
                          "item_id" : 351305,
                          "sales_volume" : 0,
                          "gmt_modified" : "2022-06-08T15:45:42+08:00",
                          "rate_type" : 0,
                          "promoter_id" : 0,
                          "delete_timestamp" : 0,
                          "rate" : 2000,
                          "audit_item_id" : null,
                          "gmt_created" : "2022-06-08T15:45:42+08:00",
                          "delete_mark" : 0
                        },
                        "sort" : [
                          0
                        ]
                      }
                    ]
                  }
                },
                "max_rate" : {
                  "value" : 2000.0
                }
              },
              {
                "key" : 349943,
                "doc_count" : 1,
                "top_hits_promoter_id" : {
                  "hits" : {
                    "total" : 1,
                    "max_score" : null,
                    "hits" : [
                      {
                        "_index" : "cdc_promoter_202206081400",
                        "_type" : "_doc",
                        "_id" : "325",
                        "_score" : null,
                        "_source" : {
                          "id" : 134,
                          "seller_user_delete_mark" : 0,
                          "shop_id" : 10008984,
                          "seller_expire_time" : "2023-04-14T17:40:53+08:00",
                          "seller_user_status" : 2,
                          "__op" : "u",
                          "__null_ts_ms" : 1654739723673,
                          "item_id" : 349943,
                          "sales_volume" : 0,
                          "gmt_modified" : "2022-06-08T15:45:42+08:00",
                          "rate_type" : 0,
                          "promoter_id" : 0,
                          "delete_timestamp" : 0,
                          "rate" : 1000,
                          "audit_item_id" : null,
                          "gmt_created" : "2022-06-08T15:45:42+08:00",
                          "delete_mark" : 0
                        },
                        "sort" : [
                          0
                        ]
                      }
                    ]
                  }
                },
                "max_rate" : {
                  "value" : 1000.0
                }
              }
            ]
          }
        }
      ]
    }
  }
}
花木雨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES group by 排序
joy_pan的博客
06-14 843
ES group by排序
mysql 两层group by_【转】两层GROUP BY效率反而比一层GROUP BY效率高——SQL优化之Everything is pos...
weixin_31108739的博客
02-03 713
在一般的优化思想中，都是要尽可能减少嵌套的层数，减少不必要的操作。但是今天发现有的时候并非实际情况却并非如此。看下面的例子：SQL> CREATE TABLE T AS SELECT * FROMDBA_OBJECTS;表已创建。SQL> INSERT INTO T SELECT * FROMT;已创建32774行。SQL> INSERT INTO T SELECT * FROM...
两层GROUP BY效率反而比一层GROUP BY效率高——SQL优化之Everything is possible
ckawt40802的专栏
01-23 267
在一般的优化思想中，都是要尽可能减少嵌套的层数，减少不必要的操作。但是今天发现有的时候并非实际情况却并非如此。看下面的例子：SQL> CREATE TABLE T AS SELECT * FROM DBA_OBJECTS;...
group by只能嵌套2层,而且一带有2层嵌套的字段,其他的普通字段都无法显示
weixin_30439031的博客
05-20 638
Code selectmax(min(max(1)))fromdualgroupby1--分组函数嵌套太深 --最多2层 SELECT--E.USER_iD, /*COUNT(DECODE(TO_CHAR(E.IN_GE_DATE,'YYYY'), TO_CHAR(M...
Elasticsearch按某个字段去重-实现group by效果
星空的风fly
10-20 2447
Elasticsearch按某个字段去重-实现group by或distinct效果
elasticsearch数据的查询sql
最新发布
04-13
- GROUP BY 和聚合: Elasticsearch SQL 支持 GROUP BY 语句，配合聚合函数（如 COUNT, SUM, AVG, MIN, MAX）进行分组统计，例如 `GROUP BY field1, field2`。 - JOIN: 虽然 Elasticsearch 原生不支持JOIN操作，但...
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
elasticsearch-sql-2.2.0.1.zip
03-11
安装Elasticsearch-SQL 2.2.0.1插件时，你需要将解压后的文件上传至Elasticsearch服务器，并通过Elasticsearch的Plugin Manager进行安装。在使用过程中，你可以通过HTTP RESTful API或者JDBC/ODBC驱动连接Elastic...
ElasticSearch高级查询.zip
01-09
Elasticsearch（ES）是一种强大的开源全文搜索引擎，它以其高效、可扩展和灵活的数据处理能力而闻名。在ES中，高级查询是超越基本的关键词搜索，涉及到更复杂的筛选、排序和聚合等功能，能够帮助用户获取更精确、更...
elasticsearch-sql-6.2.4.0.zip
03-13
Elasticsearch SQL插件支持多种SQL标准，包括SELECT、FROM、WHERE、GROUP BY、ORDER BY等子句，使得用户可以直接使用SQL查询语句来检索和聚合数据。例如，你可以像在传统数据库中一样，通过指定字段、条件和排序方式...
双重group by优化原理
12-17 1087
原始sql explain select count(distinct user_id) ,count(1) from test where dt = '2020-10-01'; 优化sql explain select count(1)test ,sum(u_cnt) from ( select user_id ,count(1) as u_cnt from test where dt = '2020-
ES 实现groupby聚合查询
BD_fuhong的博客
10-15 1万+
需求： 查询指定时间段各个API的调用量 { "query": { "bool": { "must": [ { "range": { "queryDate": { "gt": "2019-04-26 07:10:39", "lt": "2019-09-2...
SQL语法学习（3）——GROUP BY
yeyuanxiaoxin的博客
03-09 484
SQL语法学习（1） SQL语法学习（2） 继续学习GROUP BY GROUP BY 有一点类似于Excel的数据透视表 先来看看数据： 按照不同制造商分组 SELECT * FROM new_schema20200309.new_table GROUP BY Manufacturer; 因为进行了分组，每个制造商只返回一个结果，如下： 在部分数据库中可能报错，应该换为： SELECT Ma...
（八）elasticsearch之聚合分析的简单介绍
qq_37891300的博客
09-03 477
一、聚合分析的简单介绍 聚合分析，英文为 Aggregation，是es 除搜索功能外提供的针对es数据做统计分析的功能。 es聚合分析功能丰富，提供 Bucket、Metric、Pipeline等多种分析方式，可以满足大部分的分析需求； 实时性高，所有的计算结果是即时返回的，而Hadoop 等大数据系统一般都是 T+1 级别的。 语法如下： GET testindex/_search { ...
ES多个字段group by操作
热门推荐
cainiao1412的博客
10-20 2万+
第一种方式 这种方式查询出来的数据不是扁平化的，而是一层套一层的，比如字段一套字段二。 GET 索引name/索引type/_search { "size": 0, "aggregations": { "字段一的结果命名": { "terms": { "field": "要group的字段" }, "aggregations": { "字段二的结果命名": { "terms": { "field": "要group的字段"
C#用DataTable实现Group by数据统计
weixin_30686845的博客
07-04 1200
1、用两层循环计算，前提条件是数据已经按分组的列排好序的。 DataTabledt=newDataTable();dt.Columns.AddRange(newDataColumn[]{newDataColumn("name",typeof(string)), newDataColumn("sex"...
ES里多字段分组后排序
jdkleo的专栏
08-14 7202
ES里多字段分组再排序，只有两种办法，其他办法都不准： 办法一：用script 如 //主桶:设置要聚合的字段，sql TermsBuilder one = AggregationBuilders.terms("one").script(new Script("doc['"+dbFiled+"'].value +'{#}' + doc['"+sqlFiled+"']....
Elasticsearch分组 聚合 排序
LMC技术人生专栏
01-09 1万+
1 elasticsearch分组，ES分组 es聚合查询 ES排序 如果需要精确查询的，必须加上 xxx.keyword;属性 1 求最大值 ，取第一条 POST /tms_site_index/_search { "size":1, "query": { "match_all": {} }, "aggs": { "max_price": { ...
ElasticSearch中"distinct","count"和"group by"的实现
weixin_30602505的博客
02-21 4270
最近在业务中需要使用ES来进行数据查询，在某些场景下需要对数据进行去重，以及去重后的统计。为了方便大家理解，特意从SQL角度，方便大家能够理解ES查询语句。 1 - distinct SELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3; { "query": { "term": ...
es 根据字段group by
07-27
- *2* *3* [elasticsearch 语句 group by多个字段](https://blog.csdn.net/qq_39264897/article/details/130596536)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值