数据维度相关知识--kylin

29 篇文章 1 订阅
13 篇文章 2 订阅

kylin理论基础:

空间换时间,使用预计算(相比实时计算),对业务所需的维度组合和度量进行预聚合,提前把可能是查询都预先计算好,当查询到达时直接访问预计算聚合结果,反馈用户查询结果,省去对大数据的扫描和运算,而不是再去计算。

kylin实现原理:

kylin从数据仓库中最常用的Hive中读取源数据,使用MapReduce/spark作为cube构建的引擎,并把预计算的结果保存再Hbase中,对外暴露Rest API/JDBC/ODBC等查询接口。

 kylin的预聚合思想实现数据多维度下钻,将维度分为多层,下层统计可以依赖上层结果,如下图:

 第一层:最细粒度数据有ABC三个维度

 第二层:根据第一层ABC维度表可聚合出AB AC BC 二维度数据

 第三层:根据第二层二维数据可统计出A B C 数据

当数据有n维度时,最多需要2^n个cube集合

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值