详解New AggregationGroup

最新推荐文章于 2022-11-09 22:03:21 发布
最新推荐文章于 2022-11-09 22:03:21 发布
阅读量1.7k 收藏
点赞数
分类专栏： Kylin 文章标签： Kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cymvp/article/details/53765006
版权
本文深入探讨了Kylin中的New AggregationGroup概念，解释了Base Cuboid、includes数组和normal dimension等重要但隐藏的概念。New AggregationGroup帮助减少cuboid数量，提高维度组合的灵活性。文章介绍了AGG的数据结构，包括partialCubeFullMask、mandatoryColumnMask等，并提供了官方文档链接以供进一步学习。
摘要由CSDN通过智能技术生成

1 重要但隐藏的概念

kylin的一些概念，文档中不会特别说明，但是如果你想了解Kylin的内部原理时，就必须需要理解。

1.1 什么是Base Cuboid

如一个需要通过kylin计算的hive表的维度为: [A, B, C], 那么[A,B,C]这个整体的维度组合, 就叫做Base cuboid.

最低0.47元/天 解锁文章
美伊小公主的奶爸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
New Aggregation Group(新聚合组)
gavin_g_feng的博客
12-07 6922
本文根据Apache Kylin官方文档翻译 详见http://kylin.apache.org/blog/2016/02/18/new-aggregation-group/ 新聚合组（New Aggregation Group） 文章全标题：新聚合组处理维度灾难问题(尤其是当高基数维度存在的时候) 摘要： 对于所有的基于预计算的OLAP引擎来讲维度灾难是臭名昭著的问题。在1.5之前的版本
Apache Kylin优化–高级设置：聚合组（Aggregation Group）原理解析
weixin_33795833的博客
08-01 312
“随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierachy Dimension)和必要维度(Mand...
Kylin系列-Apache Kylin优化–高级设置：聚合组（Aggregation Group）原理解析
weixin_41279060的博客
12-05 2936
本文转自apachekylin公众号。 “随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维度（Mand
mongodb 聚合Aggregation分组group汇总索引问题
最新发布
conquer的博客
11-09 2462
mongo很多知识点在网上搜到的都是比较基础，很多都是告诉你Aggregation聚合基本用法，一些复杂一点的用法，还是得自己去看官方文档比较靠谱，之前遇到的几个MongoDB问题，都是通过查看官方文档解决的，官方文档也比较详细。
MongoDB学习总结五（详细记录MongoDB Aggregation聚合框架常见操作）
彼岸尚有荣光在，应不断记录总结！！！
01-21 4170
本文详细记录使用Aggregation聚合框架对MongoDB数据库的常见操作，包含筛选project、过滤match、排序sort、分组group by、略过skip、限制limit和分页查询设计思路等等，文中仍然有部分地方未能够充分理解，如_id一直保持展示的状态，尽管经过project筛选，后期补充。相比较与MongoTemplate操作，Aggregation聚合操作更加便捷、代码更加简洁。
java对mongo的一些去重、分组聚合、分页查询等操作
u010831352的博客
06-20 1万+
为java mongo的一些去重、分组聚合、分页优化操作
Elasticsearch Aggregations使用总结
一群专业码农的笔记本
02-16 4602
1.前言 最近需要基于ES做一些统计分析的报表，所以对其聚合功能做了一些了解，发现功能挺强大，能够从大量数据中对指标做一些复杂的统计分析，而且只需简单的调用一个API就能实现，这里将学习和使用的过程做个简单的总结。 2. Aggregations基础 掌握Aggregations需要明白的两个主要概念： 桶（Buckets）：满足特定条件的文档的集合，类似于SQL中的group by。...
关于mongodb管道Aggregation 的用法
weixin_45188873的博客
01-16 484
关于mongodb管道用法 由于之前用mongodb写程序刚开始老是Documnet很烦后来网上找了写自己总结了一下啊 我的代码 Aggregation aggregation = Aggregation.newAggregation( Aggregation.match(Criteria.where("PID").is("2021011408")), Aggregation.group("QLEVEL","STCD").count().as("cou
Django Aggregation聚合使用方法解析
09-18
主要介绍了Django Aggregation聚合使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
mongodb 使用聚合aggregate 排序后分页结果顺序不一致问题的解决办法及处理过程 解决数据重复
HelloBiu的博客
12-30 6452
先上结论，在不建立索引的情况下，除使用 `_id` 之外的字段排序，使用 `find` 进行分页查询 `skip`和`limit` 的查询结果能**正常返回**顺序，不会受到其他影响。而使用聚合方式 `aggregate` 查询，其返回结果是**不确定**的，解决方式是为这个字段**建立索引**或者增加能**确定顺序**的排序条件。
Aggregation-聚合查询
记录学习生活的点滴(Linux运维、java)
09-30 2万+
Aggregation： 参数说明：sql(Operators)      where ($match) 、group by ($group) 、having($match)、select($project)、order by($sort)、limit($limit)      sum($sum)、count($sum)、join($lookup) MongoVUE操作: S...
spring-data-mongo 实现aggregation
方丈的寺院
07-01 6208
摘要 mongo aggregation是mongo 的一个轻量级的map-reduce框架，可以实现一些count,sum,groupby的聚合。本身的意义就在于减少查询次数，将原本需要客户端的多次查询能够整合到db端的基于pipeline的查询。这样带来的好处就是减少请求数据库次数，坏处就是这个查询占用的数据库内存大，时间查，有可能拖垮其他查询。这个在本篇文章不讨论。 概述 常用的阶
Spring Data MongoDB七：进阶Aggregation操作（下）
热门推荐
在前进的路上
10-15 3万+
上一篇已经Aggregation 做了很详细的介绍，这边就不在介绍，Spring Data MongoDB 项目提供与MongoDB文档数据库的集成，Spring Data MongoDB 提供org.springframework.data.mongodb.core.MongoTemplate是对Connection进行封装，提供了连接管理，Spring Data MongoDB 像hibernate等一样提供了模板，mongoTemplate提供调用Aggregation 方法。
ES 实现聚合分页
u011250186的博客
10-11 2707
ES 实现聚合分页
Kylin设计详解 三
zhangzty111的博客
06-17 236
Aggregation Groups 直译过来是聚合组。就是指定 Cube 中哪些维度会同时出现，若 Cube 中有两个维度没有同时出现在任何一个聚合组中，Cube 构建时就不会生成同时包含这两个维度的 Cuboid，聚合组是一个强大的剪枝工具。主要包含以下几项：Max Dimension Combination：查询时会涉及到的最大维度个数。设置后，多于该维度个数的 Cuboid 将不会被构建。Includes：聚合组里包含哪些维度。Mandatory Dimensions：在该聚合组中，有哪些维度是查询
java操作MangoDB的聚合Aggregation用法-分页查询
无忧草
10-27 2867
构造聚合 Aggregation aggregation = newAggregation( match(beforeCriteria), unwind("suborders"), match(endCriteria), sort(page.getSort()), skip(page.getPageNumber()), lim...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值