OLAP
啊_汤哥
不破不立
展开
-
OLAP 玩转KYLIN 步二 官方案列实战之介绍涉及的表
接下来我将从kylin的官方案例开始循序渐进的开始kylin的学习。案例涉及的表的描述(1)KYLIN_SALES 该表保存了销售订单的明细信息。每一行对 应着一笔交易订单。 根据事实表的定义:事实表(Fact Table)是指存储有事实记录的表,如系统日志、销售记录等 所以,我们会把该表作为事实表来使用 字段 ...原创 2018-03-29 18:10:53 · 919 阅读 · 0 评论 -
OLAP 玩转KYLIN 步十四 为什么使用Hive View
本篇内容大部分参考自文章《Kylin实践之使用Hive视图》为什么需要使用视图Kylin在使用的过程中使用hive作为cube的输入,但是有些情况下,hive中的表定义和数据并不能满足分析的需求,例如有些列的值需要进行处理,有些列的类型不满足需求,甚至有时候在创建hive表时为了图方便,hive中的所有列都被定义成了string,因此很多情况下在使用Kylin之前需要对hive上的数据...转载 2018-04-03 16:39:07 · 741 阅读 · 0 评论 -
OLAP 玩转KYLIN 步十三 官方案列实战之查询
cube build成功后,我们就可以进行相关查询了,我们可以用kylin的web UI 来写SQL进行查询,也可以用kylin提供的查询接口来查询,并自定义自己的展示方式,也可以与现有的第三方系统集成,完成数据的查询展示。 cube的查询web UI如图所示: ...原创 2018-04-03 15:47:25 · 620 阅读 · 0 评论 -
OLAP 玩转KYLIN 步十二 官方案列实战之build cube
Cube 创建之后,我们就可以对其进行build,下面将介绍build过程中涉及的一些操作。 如下图所示,点击Build,即开启cube的创建: 具体的创建过程及进度,可在Monitor菜单下查看,如下图: 如果上图中的Progress一栏进度为绿色100%,则表示cube的build已经成功。 ...原创 2018-04-03 15:05:35 · 675 阅读 · 2 评论 -
OLAP 玩转KYLIN 步十一 官方案列实战之创建Cube之最后一课
经过前面几节讲解cube的创建,终于我们迎来了最后一步,保存cube的创建,如图: 创建完成cube并不是工作的结束,只有build cube完成,才算是达到了我们查询的目的,但这时候仍然离终极解决方案有些距离。如何优化cube减少数据的膨胀率,如何配置参数,优化build的性能,这些都是达到查询目的之后,需要慢慢不断去尝试,去探索的,只有这样,才会对kylin的强大有更深的体会。...原创 2018-04-03 13:58:04 · 546 阅读 · 0 评论 -
OLAP 玩转KYLIN 步十 官方案列实战之创建Cube之Configuration Overwrites
在kylin的安装目录 下的conf/kylin.properties 文件中有许多控制影响kylin执行的参数配置项; 其中有些是全局配置,即一个运行中的kylin进程,全局参数一旦设定,运行过程中只以全局参数的配置为准,不会运行中被改变; 有些则是与某个 Cube 相关的配置参数,这些配置可以根据Cube的不同进行不同的设置,所以这些参数可以灵活改变以适应具体要求,下面我们就来介绍一下,与Cu...原创 2018-04-03 13:45:47 · 1269 阅读 · 0 评论 -
OLAP 玩转KYLIN 步九 官方案列实战之创建Cube之Advanced Setting
紧接上一节数据刷新设置完毕,点击Next,便进入Advanced Setting设置界面。首先,第一项设置聚合组,如图: 合理的聚合组设置,既可以满足查询的需求,也可以优化cube的构建,让我们先理解概念,再谈如何优化。聚合组既将一个Cube的所有维度根据业务需求划分成若干组(当然也可以是一个组),由于同一个组内的维度更可能同时被同一个查询用到,因此会表现出更加紧密的内在关联。每...原创 2018-04-02 19:49:54 · 1286 阅读 · 2 评论 -
OLAP 玩转KYLIN 步八 官方案列实战之创建Cube之数据刷新设置
紧接步七,我们就进入了cube数据刷新设置的界面,如图: 这里的设置目前包含“Auto Merge Thresholds”、“Volatile Range”、“Retention Threshold”、“Partition Start Date”。 “Partition Start Date”是指Cube默认的第一个Segment的起始时间。同一个Model下不同的Cube可以指定不同的起...原创 2018-04-02 18:17:28 · 1931 阅读 · 1 评论 -
OLAP 玩转KYLIN 步七 官方案列实战之创建Cube之设计度量
紧接上一节,我们继续来看Cube创建的又一关键点,设计度量。进入度量添加界面,Kylin默认会为我们创建一个Count(1)的度量,避免不必要的麻烦,不要对其做修改或删除。如图: 点击上图中的+Measure便可以添加我们自己的度量。 Kylin支持的度量有:SUM、MIN、MAX、COUNT、COUNT DISTINCT、TOP_N、RAW等。选择需要的度量 类型,然后再选择适...原创 2018-04-02 16:19:28 · 1983 阅读 · 1 评论 -
OLAP 玩转KYLIN 步六 官方案列实战之创建Cube之维度的选择
上一节,我们创建了一个Model,现在在其之上,我们就可以开始Cube的创建。如下图所示,按标注的数字顺序点击,打开cube创建界面: 选择上一节创建完成的Model,命名我们的cube,填写描述信息,点击Next,继续: 接下来进入关键一步,cube的维度选择。操作之前,先让我们理解几个概念。 衍生维度:维表中可以由主键推导出值的列可以作为衍生维度。如:users维...原创 2018-04-02 13:56:41 · 1544 阅读 · 0 评论 -
OLAP 玩转KYLIN 步四 官方案列实战之hive与kylin间的表同步
Project创建完成后,我们的下一步就是要同步表。若要在kylin中使用OLAP 玩转KYLIN 步二 官方案列实战之介绍涉及的表中提到的各张表,需要先将表从hive同步到kylin中,步骤如下: 按下图标记的数字顺序点击 点击表所在的数据库,在数据库展开的表列表中点击选择需要同步的表,最后,点击Sync,开始表同步 同步完成后,便可以在下图所示的位置看到各个表,点击某个表,右侧会...原创 2018-03-30 14:08:21 · 2385 阅读 · 0 评论 -
OLAP 玩转KYLIN 步五 官方案列实战之创建Model
有了表信息之后,就可以开始创建数据模型(Data Model)了。数据模型是Cube的基础,有了数据模型以后,定义Cube的时候就可以直接从此模型定义的表和列中选择需要的维度列及度量列。 为什么需要Model? 我们假设不用建Model,直接定义Cube,那如果有两个cube1、cube2,他们用到的事实表、维度表都一样,表间的关联关系也一样,只是查询维度或度量的角度不同,那创建这两个cube...原创 2018-03-30 16:40:58 · 1434 阅读 · 0 评论 -
OLAP 玩转KYLIN 步三 官方案列实战之创建Project
不同的查询需求,可以创建不同的Project,就像文件系统的目录一样。创建Project很简单,步骤如下:打开Apache Kylin的Web UI,点击Model,点击下图‘+’,创建Project,如图: 命名project,填写项目描述,点击提交,完成创建: 如下图,可以在不同的项目间进行切换选择: ...原创 2018-03-29 19:38:24 · 736 阅读 · 0 评论 -
OLAP 玩转KYLIN 步一 万丈高楼平地起
教程假定kylin系统已被负责运维的人员安装部署完成,使用kylin的人员无需关心系统的运行及配置问题。工欲善其事,必先必知必会kylin设计原理,必知 kylin概念术语,做到深刻理解,方便优化cube的构建 维度(Dimension)维度基数度量(Measure)ModelCubeCuboidCube Segment事实表(Fact Table)维度表(D...原创 2018-03-29 14:32:43 · 730 阅读 · 0 评论