大数据Kylin（六）：Kylin构建Cube算法

已于 2023-11-18 08:39:24 修改
阅读量2.7k 收藏 80
点赞数 101
分类专栏： 大数据OLAP技术体系 文章标签： 大数据 kylin
于 2023-03-06 06:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/129341437
版权
大数据OLAP技术体系 专栏收录该内容
154 篇文章 57 订阅 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了大数据工具Kylin的两种Cube构建算法：Layered Cubing（基于MR和Spark）和Fast Cubing。Layered Cubing通过逐层计算生成Cuboid，适合稳定的分布式计算，但维度高时MR任务多。Fast Cubing则优化了Mapper端计算，减少了IO量，适用于内存充足的情况。Kylin会自动选择合适的算法，以提高构建效率。
摘要由CSDN通过智能技术生成

文章目录

Kylin构建Cube算法

一、layered cubing

1、​​​​​​​基于MR

2、​​​​​​​​​​​​​​基于Spark

二、​​​​​​​​​​​​​​Fast cubing

三、​​​​​​​​​​​​​​算法选择

Kylin构建Cube算法

Kylin中Cube的思想是用空间换时间， 通过预先的计算，把索引及结果存储起来，以换取查询时候的高性能。在Kylin v1.5以前，Kylin中的Cube只有一种算法：layered cubing，也称逐层算法，它是逐层由底向上，把所有组合算完的过程。Kylin v1.5以后，推出Fast Cubing，也称快速数据立方算法，是一个新的Cube算法。

一、​​​​​​​​​​​​​​layered cubing

了解本专栏 订阅专栏 解锁全文
Lansonli
关注
专栏目录
订阅专栏
大数据Kylin（五）：Kylin构建cube
Lansonli（蓝深李）的博客
03-05 498
再次执行查询SQL时，将会扫描这两个Segment，也就是会扫描Hbase中两张表，这样如果Segment很多时，需要将多个Segment进行合并，会使多个Hbase表进行合并到一张Hbase表中，这样再次查询时，只需要扫描一张Hbase表即可。会生成新的job，可以在monitor页面查看，等待新的任务执行完成之后，可以点击Cube查看当前cube有两个Segment，这里每个Segment对应Hbase中的一张表。计算和统计所有的维度组合，并保存，其中，每一种维度组合，称为一个Cuboid。
kylin大数据查询分析平台，五个步骤：准备数据、维度建模、cube设计、cube构建、SQL查询
可又不甘懦弱
11-28 1113
文章目录第一步准备数据第二步建模第三步cube设计第四步cube构建第五步SQL查询 基于Hadoop的大数据分析平台，通过提前建立维度模型，指定维度和度量，提前把所有可能的操作准备好（cube），从而实现亚秒级SQL查询 Kyligence Enterprise基本操作 所有步骤都是为了最后一步，SQL查询 第一步准备数据 第二步建模 建立星型模型或者雪花模型（目的：简单清晰连接结构，方便统计分析） 第三步cube设计 提前预计算。在完成模型建设和检测后，就可以进行cube的设计 第四步cube
Kylin实战（七）—— Kylin Cube构建算法
qq_41018861的博客
06-02 946
Cube物理模型： Kylin Cube构建算法主要分为两种一种是逐层构建算法，另一种是快速构建算法。 逐层构建算法： 从模型理解 从MR任务来看： 优点 官网提供的算法的优点： 1）此算法充分利用了MapReduce的能力，处理了中间复杂的排序和洗牌工作，故而算法代码清晰简单，易于维护； 2）受益于Hadoop的日趋成熟，此算法对集群要求低，运行稳定；在内部维护Kylin的过程中，很少遇到在这几步出错的情况；即便是在Hadoop集群比较繁忙的时候，任务也能完成。 个人觉得这是hadoop的优
Kylin系列（五）构建 Cube：从数据到多维立方体
最新发布
07-10 1001
Kylin是一个分布式分析型数据仓库，旨在通过构建多维立方体（Cube）来实现大数据的高效查询。本文将详细介绍Kylin中构建Cube的全过程，包括数据预处理、模型设计、Cube构建以及优化等关键步骤。通过这篇文章，读者将深入了解如何从原始数据出发，构建一个高效的多维数据立方体，从而支持复杂的分析查询需求。
大数据之Kylin入门——第四章Kylin之cube构建算法
迷途的菜鸟
11-29 629
第三章中步骤4中的多维度构建cube其实非常巧妙，不得不佩服最开始想出这些算法的人真的非常聪明，算法不复杂但非常巧妙。 cube的构建算法有两种。早期的是逐层构建算法，后来改进之后又有了快速构建算法。 1.逐层构建算法 如图所示，数据总共有4维，全量的数据从下往上构建而不是从上往下构建。这是为什么了？因为从4维表能得到3维表，从3维表能得到2维表，这样就节省了很多运算。不用每次都从...
kylin cube构建方法
weixin_34221112的博客
01-10 256
2019独角兽企业重金招聘Python工程师标准>>> ...
Kylin系列（二）—— Cube 构造算法
w124374860的专栏
09-10 2307
Kylin Cube 构造算法 标签（空格分隔）：Kylin Cube 构造算法 总目录 Kylin系列（一）—-入门 Kylin Cube 构造算法 总目录 Kylin cube 构造算法 逐层算法（layer Cubing） 算法的优点 算法的缺点 快速Cube算法（Fast Cubing） 举个例子 子立方体生成树（Cuboid spanning Tree）的遍历...
kylin的Cube构建原理及优化
wenzi880607的专栏
05-21 1342
Kylin的Cube构建原理 cube的构建主要有两种算法：逐层构建算法、快速构建算法，无论是采用哪种算法，首先是从Hive表中拉取数据，根据配置的星型模型，把hive中涉及的表关联起来，并拉取所有的字段形成一个中间层的宽表，如图 然后根据落地中间表的数据生成cube 逐层构建算法： 一个N维的Cube,是由1个N维的立方体、N个（N-1）维子立方体、N*(N-1)/2个（N-2)维子立方体、.....、N个1维子立方体和1个0维子立方体构成，总共由2^N个子立方体组成，逐层算法中，就是按照
Kylin系列：架构和高级功能详解
06-23 1287
Apache Kylin 是一个开源的分布式分析引擎，专为大数据上的多维分析（OLAP）设计，能够提供高性能、低延迟的查询服务。Kylin通过预计算技术，将复杂的查询转化为简单的查表操作，大幅提升查询性能。本文将详细介绍Kylin的架构和高级功能，帮助读者深入了解其工作原理及如何在实际业务中应用。
【电商数仓】数仓即席查询之Kylin Cube构建原理和构建优化
weixin_43923463的博客
10-19 380
维度：即观察数据的角度。比如员工数据，可以从性别角度来分析，也可以更加细化，从入职时间或者地区的维度来观察。维度是一组离散的值，比如说性别中的男和女，或者时间维度上的每一个独立的日期。因此在统计时可以将维度值相同的记录聚合在一起，然后应用聚合函数做累加、平均、最大和最小值等聚合计算。度量：即被聚合（观察）的统计值，也就是聚合运算的结果。比如说员工数据中不同性别员工的人数，又或者说在同一年入职的员工有多少。有了维度跟度量，一个数据表或者数据模型上的所有字段就可以分类了，它们要么是维度，要么是度量（可以被聚合）
kylin的cube构建
TU_JCN的博客
08-18 736
1、kylin的构建流程 2、cube构建算法 2.1、逐层构建算法 我们知道，一个N维的Cube，是由1个N维子立方体、N个(N-1)维子立方体、N*(N-1)/2个(N-2)维子立方体、…、N个1维子立方体和1个0维子立方体构成，总共有2^N个子立方体组成， 在逐层算法中，按维度数逐层减少来计算，每个层级的计算（除了第一层，它是从原始数据聚合而来），是基于它上一层级的结果来计算的。比如，[Group by A, B]的结果，可以基于[Group by A, B, C]的结果，通过去掉C后聚
大数据培训技术 Cube和Cuboid
zjjcchina的博客
11-08 613
二维度（2D）的组合有：[time, item]、[time, location]、[time, supplier]、[item, location]、[item, supplier]、[location, supplier]3种；下面举一个简单的例子说明，假设有一个电商的销售数据集，其中维度包括时间[time]、商品[item]、地区[location]和供应商[supplier]，度量为销售额。一维度（1D）的组合有：[time]、[item]、[location]和[supplier]4种；
探索 Cube：一个强大的多维数据分析框架
gitblog_00080的博客
03-27 756
探索 Cube：一个强大的多维数据分析框架 项目地址:https://gitcode.com/stkevintan/Cube 立方体（Cube）是由开发者 stkevintan 创建的一个开源项目，它提供了一个高效的、灵活的和可扩展的数据分析平台，适用于大数据处理和业务智能场景。通过访问 项目页面，您可以深入了解并参与其中。 项目简介 Cube 是基于 SQL 的多维数据分析引擎，它允许用户以一种...
4.kylin的Cube的构建优化
First_____的博客
03-19 2002
一丶Cube的构建算法 逐层构建算法: 说明:我们知道,在逐层算法中,按维度层数减少来计算,每一层级的计算,是基于他上一层级的结果来计算的,每一轮的计算都是一个 MapReduce 任务，且串行执行；一个 N 维的Cube，至少需要 N 次 MapReduce Job。 图解: 优点: 此算法充分利用了 MapReduce 的优点，处理了中间复杂的排序和 shuffle 工作，故 而算法代码清晰简单，易于维护； 受益于 Hadoop 的日趋成熟，此算法非常稳定，即便是集群资源紧张时，也能保证 最终能够完
Kylin之Cube构建原理
lixinkuan的博客
02-10 1341
目录 一、Cube构建流程 1.1、创建中间表 1.2、将中间表的数据均匀分配到不同的文件 1.3、创建维度字典表 1.4、多维度构建cube（重要） 1.5、Hbase K-V映射 1.6、将cube data转成HFile格式并导入HBase 二、Cube构建算法 2.1、逐层构建算法（layer） 2.2、快速构建算法（inmem） 一、Cube构建流程 1.1、创建...
大数据Kylin（四）：Kylin创建cube
Lansonli（蓝深李）的博客
03-03 565
请注意，如果没有字典编码，cube 的大小可能会非常大。虽然衍生维度具有很大的吸引力，但是并不代表所有维度表上的维度都可以编程衍生维度，如果从维度表主键到某个维度表维度所需要的聚合工作量很大，例如：统计每年E订单金额M，基本上需要365:1的聚合量，那么可以将E设置成为一个基本维度，而不是一个衍生维度更合适。在kylin中，事实表与维度表关联时，类似使用主外键关联，事实表中有“外键-FK”，维度表中有“主键-PK”，如果在事实表中选择了FK为一个维度，那么相关的PK将自动查询，没有任何额外的开销。
大数据之Kylin入门——第五章Kylin之cube构建优化
迷途的菜鸟
11-29 544
前面说过构建一个n维的cube有多少种情况了，2^n-1种。构建一个10维的是1023种情况，一个20维的是1048576。那如果有30维甚至100维的了？这对于集群来说压力非常大，所以我们应该想想到底有没有必要构建这么多种情况了。 举个例子，年，月，日三个字段总共可以构建7种可能。但是年，日构建起来有必要吗？单独一个日构建有必要吗？真正有价值的组合是 年月日、年月、年，这3种可能。计算的可能性...
Cube的构建过程
weixin_34077371的博客
06-23 693
为什么80%的码农都做不了架构师？>>> ...
Kylin操作指南：从创建Project到构建Cube
"这篇文档提供了一个关于Apache Kylin的操作实例，包括如何创建项目、添加数据源、构建模型以及创建立方体的关键步骤。Kylin是一个开源的、高性能的在线分析处理（OLAP）系统，用于大数据分析。通过这个实例，用户...
评论 80
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值