Apache Kylin优化篇之联合维度(Joint Dimension)

最新推荐文章于 2022-06-17 23:39:14 发布
最新推荐文章于 2022-06-17 23:39:14 发布
阅读量2.7k 收藏 5
点赞数 1
分类专栏： Kylin 文章标签： kylin kylin 优化 kylin联合维度 kylin Joint Dimension
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013181284/article/details/88636329
版权
Apache Kylin在构建维度时可能导致维度爆炸，占用大量存储。文章介绍了如何通过联合维度优化配置来减少不必要的Cuboid，降低存储需求和构建时间。联合维度允许用户根据实际查询需求定制，例如在项目ID、日期和性别维度的查询中，可以设置它们为联合维度，从而减少cube数量。
摘要由CSDN通过智能技术生成

       kylin作为OLAP查询最好的工具之一，但在kylin构建维度时，会生成很多不必要的维度cube，造成维度爆炸，占用大量的存储空间，为了缓解 Cube 的构建压力，减少生成的 Cuboid 数目，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid，本文主要介绍kelin维度优化配置–联合维度（Joint Dimension）。

       在介绍优化之前，先来看一看造成维度爆炸的原因：
例如：有A,B,C,D四个维度，那么构建这样一个4个维度的cube就会产生 2 4 2^4 2

最低0.47元/天 解锁文章
微溪
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Kylin 高基数维度处理 以及 其他优化
恩特尔派
06-20 3038
第一个问题：在Tableau中显示的度量值如果是SUM计算，那么在Hive中最好使用的字段类型为decimal(20,0)，避免使用int以及bigint。 第二个问题：高基数维度的Cube在构建过程中报错，GC limite exceeded 以及java.lang.OutOfMemoryError: Java heap space,需要在~/conf/kylin_job_conf.xml中添...
【技术帖】Apache Kylin 高级设置：联合维度（Joint Dimension）原理解析
weixin_34082789的博客
02-05 289
众所周知，Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube，实现聚合的预计算。理论上而言，构建 N 个维度的 Cube 会生成 2N个Cuboid， 如图 1 所示，构建一个 4 个维度（A，B，C, D）的 Cube，需要生成 16 个 Cuboid。 （图1） 随着维度数目的增加 Cuboid 的数量会爆炸式地增长，不仅占用大量的存储空间还会延长 Cube 的构建时...
kylin的维度组合
king_hui719的博客
08-17 1491
kylin的维度组合默认的是2^n；但是在实际场景中简单的使用这种计算方式去计算生成的维度组合，对于维度数来那个超过40个的，那么生成的cubeId的数量是4096；如果维度的数量超过这个值，那么在构建和存储集查询方面都可能存在问题，此文章从以下四个层次来管理dinmensions:【以下所有的设置都是基于各司的业务设置，非通用模版】 设：共有维度10个维度：分别为A,B,C,D,E,F...
CC00021.kylin——|Hadoop&OLAP_Kylin.V21|——|Kylin.v21|Cube优化|聚合组|强制/层级/联合维度|
yanqi_vip
04-14 178
一、聚合组 ### --- 聚合组 ~~~ 随着维度数目的增加，Cuboid 的数量会爆炸式地增长。 ~~~ 为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置， ~~~ 帮助用户筛选出真正需要的 Cuboid(本质是要减少Cube构建过程中的预计算)。 ### --- 这些高级设置包括： ~~~ 聚合组(Agg...
Apache Kylin 维度优化指南
天天臭乐呵
05-23 1229
为什么需要维度优化因为如果不进行任何维度优化，直接将所有的维度放在一个聚集组里，Kylin就会计算所有的维度组合（cuboid）。比如，有12个维度，Kylin就会计算2的12次方即4096个cuboid，实际上查询可能用到的cuboid不到1000个，甚至更少。 如果对维度不进行优化，会造成集群计算和存储资源的浪费，也会影响cube的build时间和查询性能，所以我们需要进行cube的维度优化。...
Apache Kylin v1.6 之 新Streaming OLAP实现
03-20
Kylin的目标、架构、流数据分段 – 使用时间近似寻找，小碎片逐渐合并成大Segment等
apache kylin4.0.1 源码编译所需jar包
02-25
apache-kylin-4.0.1 源码所需jar包，一键打包。 只包含jar，不包括js相关内容 内部列表： kylin-shaded-guava-3.1.0.jar commons-configuration-1.6.jar RoaringBitmap-0.7.36-os-kylin-r1.jar commons-compiler-...
Apache Kylin分析型数据仓库.rar
最新发布
07-04
HDFS Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统 HIVE hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询...
CVE-2020-13925 Apache Kylin 远程命令执行漏洞.md
04-12
CVE-2020-13925 Apache Kylin 远程命令执行漏洞
Apache Kylin 2.0 之Spark构建引擎
05-16
Apache Kylin 作为领先的大数据OLAP分析平台步入了2.0时代，正逐渐从Hadoop上的传统OLAP演变为一个实时数据仓库，新的版本支持灵活的雪花模型和更加全面的SQL语法，引入了更加先进的Spark Cubing构建引擎，更好地...
kylin维度优化
MR_REN019235的博客
10-22 235
https://blog.csdn.net/c929833623lvcha/article/details/81772928
Kylin 优化
chige0690的博客
06-19 217
Cube Build 过程中常见遇到的是性能问题，例如 SQL 查询过慢、Cube 构建时间过长甚至失败、 Cube 膨胀率过高等等。究其原因，大多数问题都是由于 Cube 设计不当造成的。因此，合理地进行 Cube 优化就显得尤为重要。 一、Cube优化方案： 1. 维度精简 去除查询中不会...
Kylin设计详解 三
zhangzty111的博客
06-17 230
Aggregation Groups 直译过来是聚合组。就是指定 Cube 中哪些维度会同时出现，若 Cube 中有两个维度没有同时出现在任何一个聚合组中，Cube 构建时就不会生成同时包含这两个维度的 Cuboid，聚合组是一个强大的剪枝工具。主要包含以下几项：Max Dimension Combination：查询时会涉及到的最大维度个数。设置后，多于该维度个数的 Cuboid 将不会被构建。Includes：聚合组里包含哪些维度。Mandatory Dimensions：在该聚合组中，有哪些维度是查询
Kylin系列-Apache Kylin优化之—Cube的高级设置
weixin_41279060的博客
12-06 1440
本文从apachekylin公众号系列文章整理。 随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维
Apache Kylin CUBE 剪枝优化和cuboid数量计算公式总结
shtdayu的博客
12-20 516
kylin 聚合组优化 --------1.简单情况-------------- 1.强制优化 分步乘法,n个元素取m,结果m x n 2^(N-X) 2.层级优化 将N个维度中X个维度设置为层级维度，则cuboid个数减少到 (X+1)*2^(N-X) 3.联合维度（Joint Dimension） 2 ^ (n-x + 1) :从4个里面有三个 2 ^(4-3 + 1)=4 --------2.最优剪枝-------------- 解释:所有维度都能被剪枝 1.必须维度+层级维度(层级数量+1)
kylin 维度优化，Aggregation Group，Joint，Hierachy，Mandatory等解析
chenguangchun1993的博客
12-04 3764
众所周知，Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube，实现聚合的预计算。理论上而言，构建 N 个维度的 Cube 会生成 2n2^n个 Cuboid， 如图 1 所示，构建一个 4 个维度（A，B，C, D）的 Cube，需要生成 16 个Cuboid。随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube的构建压力，Apache Kylin
小白篇(十六)：大数据Kylin工作原理
belialxing的专栏
11-09 216
我的原文地址： https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9HQndwcUpFcmFCbWYzWFdabndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYS3FRX1FJZ3ZGYTlzNmV2amZPaERXWTNfX2lPZ2dqLTl4X19hcFlqYVRPMGdoajAwdHRuQm9NcmpwMmZSNkN5ZjNmX01CTkNvaVFVZ
【转】kylin优化
weixin_33768481的博客
05-23 178
转自： http://www.bitstech.net/2016/01/04/kylin-olap/ http://www.csdn.net/article/2015-11-27/2826343 http://tech.youzan.com/kylin-mondrian-saiku/   Apache Kylin对传统MOLAP的改进   计算Cube的存储代价以及计算代价都是比较大...
Kylin - 剪枝优化及其方法
Sha0w的博客
04-27 3927
为什么要进行剪枝优化？在没有采取任何的优化措施的时候，Kylin会对每一个维度组合进行预计算，若有4个维度，则会有将近2^4 = 16个Cuboid需要进行计算。但是我们知道很多维度是： 1.不需要参与计算或者说不常用的 2.与其他的维度有一定的包含关系的 3.一定会跟其他维度一起进行查询的如果有10个维度那会有2^10=1024个Cuboid需要进行计算，虽然每个Cuboid的大小存在很大的差

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值