Kylin
kylin 大数据分析型数据仓库
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
Kylin - 01 Kylin简介
1.1 核心概念数据仓库,OLAP与OLTP,维度和度量,事实表和维度表。星型模型和雪花模型。1.1.1 数据仓库DW这是商业智能(BI)的核心部分,主要是将不同数据源的数据整合到一起,通过多维分析为企业提供决策支持、报表生成等。存入数据仓库的资料必定包含时间属性。数据仓库和数据库主要区别:用途不同数据库数据仓库面向事务面向分析存储在线的业务数据,对上层业务改...原创 2020-01-13 16:22:46 · 313 阅读 · 0 评论 -
Kylin - 02 Kylin集群安装部署
修改Kylin对应的Hbase版本Kylin 2.5.0 Hbase 1.3.5hbase-env.sh修改vim hbase-env.sh修改jdk版本注释jdk差异代码关闭自动zookeeper自动管理修改hbase-site.xmlvim hbase-site.xml按之前版本配置可直接拷贝hdfs-site.xmlcp /opt/sxt/hbase-0.9...原创 2020-01-13 21:39:01 · 278 阅读 · 0 评论 -
Kylin - 03 Kylin的使用
3.1简单案例具体操作步骤通过同步数据源建立project->建立model->建立cube->build。3.1.1 导入Hive表Hive执行如下操作create database if not exists sxt_kylin;use sxt_kylin;create table kylin_sale(id int,day date,market ...原创 2020-01-14 18:44:08 · 266 阅读 · 0 评论 -
Kylin - 04 增量Cube
Cube划分为多个Segment,每个Segment用起始时间和结束时 间来标志。Segment代表一段时间内源数据的预计算结果。在大部分情况下一个Segment的起始时间等于它之前那个Segment的结束时间,同理,它的结束时间等于它后面那个Segment的起始时间。同一个Cube下不同的Segment除了背后的源数据不同之外,其他如结构定义、构建过程、优化方法、存储方式等都完全相同。4....原创 2020-01-14 09:10:02 · 282 阅读 · 0 评论 -
Kylin - 05 cuboid以及cube优化
Cuboid = one combination of dimensions Cube = all combination of dimensions (all cuboids)按照dimension(维度)大小顺序排序,从Base Cuboid开始,依次基于上一层Cuboid的结果进行再聚合。每一层的计算都是一个单独 的Map Reduce(Spark)任务。理论上来说,一个N维的Cub...原创 2020-01-14 19:48:09 · 493 阅读 · 0 评论