kylin 创建MODEL和CUBE示例

最新推荐文章于 2022-01-26 13:44:54 发布
最新推荐文章于 2022-01-26 13:44:54 发布
阅读量2.7k 收藏 3
点赞数 1
分类专栏： kylin 文章标签： kylin MODEL cube
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22222499/article/details/87927396
版权
  1. 首先要创建一个项目，然后开始创建MODEL
  2.  选择事实表和维度表，选择事实表和维度表的join方式
  3.    选择模型的维度，只有这里选择了维度，在后面的CUBE中才能选，这里我们选了F_ORDER_MESSAGE中的id和city与F_CITY中的ID和CITY作为维度
  4. 如果表中有分区表的话，选择分区表设置读取的分区格式 
  5.  开始创建CUBE，选择模型，设置CUBE名称
  6. 选择计算维度，只能从之前创建的MODEL中的维度选 
  7. 选择计算的度量列，第一行是默认的COUNT，新建度量列只能选择聚合操作 
  8. 后面几步直接点默认吧，然后开始BUILD 
  9. 从监控界面可以查看build过程，可以点开查看详细日志，比如可以直接跳到yarn界面查看MR任务运行情况 
  10. build完成后可以来查询界面看,时间0.1S,HIVE实测30s,可以差距之大 
wending-Y
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
apache-kylin多维模型框架搭建
06-01
Kylin安装与使用：1.Kylin环境准备；2.Kylin部署;3.Kylin使用;4.Kylin可视化 等四部分
Kylin的cube模型
weixin_33835690的博客
03-03 198
1. 数据仓库的相关概念 OLAP 大部分数据库系统的主要任务是执行联机事务处理和查询处理，这种处理被称为OLTP（Online Transaction Processing, OLTP），面向的是顾客，诸如：办事员、DBA等。而数据仓库主要面向知识工人（如经理、主管等）提供数据分析处理，这种处理被称为OLAP（Online Analysis Processing）。OLTP管理的是当前数据，比较...
【总结】Kylin创建Model
weixin_34308389的博客
03-13 181
根据如下四类表数据，创建Model，事实表为酒店信息表，其余三张维度表是城市信息，行政区信息，商圈信息。酒店信息表中有外键分别与地域相关三张表关联DICT_CITYINFODICT_HOTELINFODICT_REGIONINFODICT_ZONEINFO第一步 Model InfoModel的基本信息第二步 Data Model选择事实表，依次关联Looup Table。以...
kylin cube创建
千淘万漉
12-03 588
转自kylin的官方文档 http://kylin.apache.org/cn/docs/tutorial/create_cube.html Cube 创建 I. 新建项目 由顶部菜单栏进入 Model 页面，然后点击 Manage Projects。 点击 + Project 按钮添加一个新的项目。 填写下列表单并点击 submit 按钮提交请求。 ...
OLAP 玩转KYLIN 步五 官方案列实战之创建Model
啊_汤哥的博客
03-30 1417
有了表信息之后，就可以开始创建数据模型（Data Model）了。数据模型是Cube的基础，有了数据模型以后，定义Cube的时候就可以直接从此模型定义的表和列中选择需要的维度列及度量列。 为什么需要Model？ 我们假设不用建Model，直接定义Cube，那如果有两个cube1、cube2，他们用到的事实表、维度表都一样，表间的关联关系也一样，只是查询维度或度量的角度不同，那创建这两个cube...
ApacheKylin深入Cube和查询优化
01-27
Kylin作为一个高速的开源分布式大数据查询引擎正在迅速崛起。它充分发挥Hadoop、Spark、HBase等技术的优势，通过对超大规模数据集进行预计算，实现秒级甚至亚秒级的查询响应时间，同时提供标准SQL接口。目前，Apache...
大数据技术之Kylin视频教程
07-08
本套视频教程版本升级为4.0，涵盖了Kylin新版的重大功能升级，并将构建引擎和查询引擎全部升级为Spark，将存储由HBase升级为HDFS下的Parquet存储，这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。...
Kylin在贝壳的性能挑战和HBase优化实践
01-27
自2017年起，贝壳开始使用Kylin作为其核心数据分析平台，目前已有超过100台Kylin实例，承载着800多个Cube，单副本存储容量高达300多TB。此外，贝壳还部署了两套HBase集群，共计30多个节点，每天处理的查询量峰值超过...
Kylin实践（四）—— Kylin的使用以及Model和Cube构建详细流程
qq_41018861的博客
06-01 1542
Kylin如何使用？ 首先，在测试环境启动Hadoop、Hive、HBase、Zookeeper 然后，在测试环境/home/hadoop/kylin/kylin-2.5.1-bin-hbase中启动Kylin，执行如下命令： [hadoop@kb-testhadoop01 kylin-2.5.1-bin-hbase]$ bin/kylin.sh start 注意：启动前执行jps查看Hadoop、Hive、HBase、Zookeeper是否启动，如出现以下信息则kylin启动成功。 在
kylin从Oracle构建cube,Kylin构建Cube过程详解
weixin_31319319的博客
04-10 172
1 前言在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段(这个字段的格式必须是日期格式，表示日期的含义)设定分区字段，这样一个cube就可以进行多次build，每一次的build会生成一个segment，每一个segment对应着一个时间区间的cube，这些segmen...
Cube和Kylin创建Cube的过程
比比的博客
01-22 518
转载：http://www.aboutyun.com/thread-20757-1-1.html 简介 　　Kylin作为一个OLAP引擎，需要Cube模型支撑，在我们的工作过程中，在和用户以及相关的开发人员、测试、产品等介绍Kylin的过程中，他们总是会对Cube的模型有一些疑惑，作为经常接触这个概念的我来说这是再明了不过的了，而他们还是会在我讲解多次之后表示还在云里雾里，所以就希望通过一篇...
kylin的使用 -- 创建cube
臭臭猫
04-04 1606
本文章将介绍如何创建kylin的cube，首先准备hive的表及数据。在创建cube之前先介绍下kylin的几个概念：project、model、cube，刚开始接触的时候，这些概念很容易弄混。1. project，项目名称，经常以hive的数据库的名字命名，下面可以有很多model。2. model，hive数据库下某些表之间的关联关系,即数据模型，也可以是这个数据库下所有表之间的关联关系。3....
kylin学习(二)：kylin客户端的使用 -- model与cube的创建，kylin性能查看
weixin_39724194的博客
02-23 834
关于hive数据库的导入以及kylin的安装，这里就不做过多介绍了。 1.Project工程创建 1）点击图上所示“+”号 2）填入项目名及描述点击Submit 2. 数据源选择 1）选择加载数据源方式 2）输入要作为数据源的表 3）查看数据源 3.创建model 1）回到Models页面 2）点击New按钮后点击New Model 3）填写Model名称及描述后Next 4）选择事实表 5）添加维度表 6）选择添加的维度表及join字段 7）选择维度信息 8）选择度量信息 9）
Kylin集群部署和cube使用
weixin_33835103的博客
07-05 428
2019独角兽企业重金招聘Python工程师标准>>> ...
kylin cube 创建
qq_28429443的博客
06-27 203
1.1.1 新建一个项目 1.1.1.1 由顶部菜单栏进入Query页面，然后点击左上角的加号按钮新建一个project。 1.1.1.2 选择自己要定义的项目名 1.1.1.3 创建成功后会出现成功的弹窗 通过以上的步骤一个新的project创建成功。 1.1.2 同步一张表 1.1.2.1 选择自己新建的项目名 1.1.2.2 导入需要的数据库表 在这里运用到的是hive作为数据源...
kylin创建cube
奋斗的小鸟专栏
09-25 2067
  创建立方体(Cube)   参考文档： 播客：http://tech.meiyou.com/?p=97 官网创建cube: http://kylin.apache.org/cn/docs15/tutorial/create_cube.html   Cube执行原理： 1、创建Cube: 2、编译Cube(Build Cube): 定义好Cube之后，Apa...
kylin使用Restful API 创建 cube和model
臭臭猫
05-03 2586
公司最近需要自动化创建kylin cube和model，便不得不放弃使用web端的方式，而用REST API的方式，找了各种方案，终于找到了可行的。大家可能会问道，代码中定义的cubeDescData 字符串是从哪取的，你可以在web端在创建model和cube时按下F12，查看rest的request请求json串，然后，需要稍微改一下变成我下面代码中这种即可。数据使用的是kylin官方自带的s...
Kylin 快速入门 （二）创建Cube
weixin_45417821的博客
01-26 434
文章目录创建Cube构建Cube 创建Cube 1）点击 New 按钮然后选择 New Cube 2）选择 Model 及填写 Cube Name 3）添加真正的维度字段 (将来会影响 Cuboid 的个数,并且只能从 model 维度字段里面选择) 4）添加真正度量值字段(将来预计算的字段值,只能从 model 度量值里面选择) 5）动态更新相关（默认） 6）高阶设置（默认） 7）需要修改的配置(默认) 8）Cube 信息展示 9）Cube 配置完成，查看 Cube 信息 构建
cube的理解，以及维度
sinat_32176267的博客
07-17 2907
1.数据立方体 　　　　　　　　　　　　　　　　　　　　　　　　Cube物理模型 　　如上图所示，一个常用的3维立方体，包含：时间、地点、产品。假如data cell 中存放的是产量，则我们可以根据时间、地点、产品来确定产量，同时也可以根据时间、地点来确定所有产品的总产量等。 　　Apache Kylin就将所有（时间、地点、产品）的各种组合实现算出来，data cell 中存放度量，其中每一种组合都称为cuboid。估n维的数据最多有2^n个cuboid，不过Kylin通过设定维度的种类，可以减
Kylin操作指南：从创建Project到构建Cube
选择已创建的Model，输入Cube Name，可选填报警邮件列表。在维度和指标选择阶段，可以手动添加或自动生成维度，并选择相应的指标函数，如SUM。Kylin对字段类型有特定要求，维度字段应为String，聚合字段需为bigint或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wending-Y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值