kylin
wending-Y
这个作者很懒,什么都没留下…
展开
-
Kylin build 源码解析
前言Kylin build过程是Kylin中的核心机制,理解build过程,有助于作业的优化,问题排查,理解Kylin的思想示例数据事实表+维度表核心代码BatchCubingJobBuilder2 类 public CubingJob build() { logger.info("MR_V2 new job to BUILD segment {}", seg); final CubingJob result = CubingJob.createBuildJo转载 2020-05-24 14:36:05 · 460 阅读 · 0 评论 -
一文看懂kylin
kylin到底解决了什么关键问题要彻底的解决掉数据查询时间随着数据量的增长而成线性增长的规律kylin适合哪类数据的处理通常查询数据,一般是统计结果,如果是统计结果,必然会按照维度来进行聚合,kylin的工作原理是多维立方体分析,适合需要从多个维度来观察数据的查询。kylin关键词维度,看数据的角度,比如地区,年,性别度量,就是查询的值,比如GMV,日活数对...原创 2018-09-28 00:17:40 · 467 阅读 · 0 评论 -
kylin安装步骤
1.本来安装kylin看官网很简单的,可是上手安装各种问题2.下载安装包,我之前是安装的2.1版本的,结果死活在web界面都看不到hive表,最后换了2.4版本的终于可以了3.解压包,设置环境变量,/etc/profile,记得要生效,HIVE_CONF是启动的时候报错了,才设置的export KYLIN_HOME=/opt/soft/apache-kylin-2.4.1expor...原创 2018-10-19 00:56:35 · 1097 阅读 · 0 评论 -
kylin 揭开亚秒级查询的神秘面纱
kylin之所有亚秒级别的查询,主要在于存储结构,kylin的数据都是写入了hbase,cube的重点就是维度和度量列,在hbase中rowkey就是由各维度值拼接起来的,这里列一个比较形象的例子,这篇文章的目标就达到了 cube id的维度值 1,2 dt的维度值是25,26,27,下面根据cube的概念完成下在这个表,一共11条记录,按照cube 维度的n次方还有一种就情况就是没有维度这种,...原创 2019-02-28 00:49:38 · 3809 阅读 · 1 评论 -
kylin 创建MODEL和CUBE示例
首先要创建一个项目,然后开始创建MODEL 选择事实表和维度表,选择事实表和维度表的join方式 选择模型的维度,只有这里选择了维度,在后面的CUBE中才能选,这里我们选了F_ORDER_MESSAGE中的id和city与F_CITY中的ID和CITY作为维度 如果表中有分区表的话,选择分区表设置读取的分区格式 开始创建CUBE,选择模型,设置CUBE名称 选择计算维度,只能...原创 2019-02-26 00:09:45 · 2804 阅读 · 0 评论