Apache Kylin cube创建过程每一步的优化思路

最新推荐文章于 2024-08-09 11:27:47 发布
最新推荐文章于 2024-08-09 11:27:47 发布
阅读量1.5k 收藏 2
点赞数 3
分类专栏： 大数据 # Apache Kylin 文章标签： 大数据 kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39945938/article/details/114550954
版权

Apache Kylin 创建cube过程每一步的优化思路。包括创建model的优化思路、创建cube时的优化思路、kylin相关配置文件的优化思路

文章目录

0 优化目的

cube设计优化的目的包括：

  • 更好的维护cube；
  • 让cube提高响应速度
  • 降低膨胀率

1 创建model

创建model的过程以及优化思路

下图为创建model的流程：
在这里插入图片描述

1 Model Info

这一步就是输入model名称，下面可以加上描述来表示这个model的信息

优化思路：

  1. model名字命名规范建议
    一级业务分类_二级业务分类_具体业务名称_model_yyyymmdd

2 Data Model

这一步是选择事实表和维度表

优化思路：

  1. 事实表和维度表不要为了省事提前join成大宽表，建议在这里分开选择事实表和维度表以及对应的join条件

3 Dimensions

选择希望作为维度的列

优化思路：

  1. 设计表的时候建议把年、月、日每个都作为单独的列，在Dimensions这里把三个维度都选，方便下钻和上卷

4 Measures

选择希望作为度量的列，需要注意的是度量只能从事实表选择

优化思路：

  • 无需优化

5 Settings

选择分区列

优化思路：

  1. 这里的分区列一定要选择hive表的分区时间字段
  2. 分区字段的内容建议为年月日

2 创建cube

创建cube的过程以及优化思路

下图为创建cube的流程：
在这里插入图片描述

1 Cube Info

选择model，输入cube名称，输入通知邮件

优化思路

  1. cube名命名规范建议
    一级业务分类_二级业务分类_具体业务名称_cube_yyyymmdd
  2. 添加描述标识对应的cube的作用

2 Dimensions

选择维度

优化思路
1.维度选择时可以只选择哪些维度出现在cube中和哪些维度不出现在cube中。这样可以避免维度爆炸。具体操作就是将维度表的主键选为Normal，维度表的其他列选择为Derived
具体案例：https://www.jianshu.com/p/be07962d84cb

3 Measure

选择度量

优化思路

  1. 扩展列（EXTENDED_COLUMN）
    在OLAP分析场景中，经常存在对某个id进行过滤，但查询结果要展示为name的情况，比如user_id和user_name。这时，可以将user_name作为度量，Measure类型设置为EXTENDED_COLUMN，即可达到即减少维度，又可查询user_name的目的

4 Refresh Setting

更新设置

合并后cube的查询效率会有所提升，建议开启合并

5 Advanced Setting

高级设置，重头戏来了

优化思路

  1. Aggregation Groups（聚合组）
    如果你很好的了解你的查询模式且查询模式相对固定，那么你可以创建多个聚合组。在每个聚合组内，使用 “Mandatory Dimensions”, “Hierarchy Dimensions” 和 “Joint Dimensions” 来进一步优化维度组合。

这里可以搜集所有针对一个cube的查询函数，根据sql出现次数，可以根据查询评率在前N个的sql设置对应的N个或更少的聚合组

  1. Mandatory Dimensions（必要维度）
    必要维度，用于总是出现的维度。例如，如果你的查询中总是会带有 “ORDER_DATE” 做为 group by 或 过滤条件, 那么它可以被声明为必要维度。这样一来，所有不含此维度的 cuboid 就可以被跳过计算。

所有sql中都会出现的维度或者80%的SQL中会出现的维度建议设置为必要维度

  1. Hierarchy Dimensions（层级维度）
    层级维度，例如 “国家” -> “省” -> “市” 是一个层级；不符合此层级关系的 cuboid 可以被跳过计算，例如 [“省”], [“市”]. 定义层级维度时，将父级别维度放在子维度的左边。

年月日和省市区以及类似的有层级关系的维度建议设置为层级维度

  1. Joint Dimensions（联合维度）
    联合维度，有些维度往往一起出现，或者它们的基数非常接近（有1:1映射关系）。例如 “user_id” 和 “email”。把多个维度定义为组合关系后，所有不符合此关系的 cuboids 会被跳过计算。

对应关系是1对1的维度建议设置为联合维度

  1. Rowkeys（hbase里的rowkey设置）
    Rowkeys是由维度编码值组成。”Dictionary” （字典）是默认的编码方式; 字典只能处理中低基数（少于一千万）的维度；如果维度基数很高（如大于1千万), 选择 “false” 然后为维度输入合适的长度，通常是那列的最大长度值; 如果超过最大值，会被截断。请注意，如果没有字典编码，cube 的大小可能会非常大。
    你可以拖拽维度列去调整其在 rowkey 中位置; 位于rowkey前面的列，将可以用来大幅缩小查询的范围。通常建议将 mandantory 维度放在开头, 然后是在过滤 ( where 条件)中起到很大作用的维度；如果多个列都会被用于过滤，将高基数的维度（如 user_id）放在低基数的维度（如 age）的前面。

建议按照查询每个维度被查询的频率，在rowkey中以从前到后的方式设置维度在rowkey里的顺序

  1. Mandatory Cuboids（维度组合白名单）
    维度组合白名单。确保你想要构建的 cuboid 能被构建。

建议根据所有必须要满足的SQL整理对应的维度组合，将这些维度设置到白名单中

  1. Cube Engine（构建引擎）
    cube 构建引擎。有两种：MapReduce 和 Spark。如果你的 cube 只有简单度量（SUM, MIN, MAX)，建议使用 Spark。如果 cube 中有复杂类型度量（COUNT DISTINCT, TOP_N），建议使用 MapReduce。
  1. Advanced ColumnFamily（列簇设置）
    如果有超过一个的COUNT DISTINCT 或 TopN 度量, 你可以将它们放在更多列簇中，以优化与HBase 的I/O。

如果度量很多，例如超过200个，建议将指标分两份分别放到2个列簇中

6 重写配置

这里可以在cube级别覆盖部分 kylin.properties 中的配置

7 保存cube

保存cube后一个cube就建好了

3 配置参数优化

每个配置文件的可优化参数

1 $KYLIN_HOME/confkylin.properties

1. hbase中设置压缩格式，建议使用snappy或gzip；
snappy比gzip更快，gzip比snappy压缩率更高，以snappy为例。
kylin.storage.hbase.compression-codec=none
修改为如下
kylin.storage.hbase.compression-codec=snappy

2.每个mapper处理的行数默认为100w，如果集群资源充足，可以调小，增加并行度
kylin.engine.mr.mapper-input-rows=500000

3.每个任务启动的最小reducer可以设置为2
kylin.engine.mr.min-reducer-number=2

4.针对存在超高基维度的cube，构建时可以设置如下参数
kylin.engine.mr.build-uhc-dict-in-additional-step=TRUE
kylin.engine.mr.uhc-reducer-count=5

2 yarn参数优化

yarn配置如果是cdh可以通过界面修改，如果是开源hadoop需要修改配置文件

yarn容器的内存决定了mapreduce的并行度，推荐内存配置如下（按需自行修改）

注意：这里的配置不止影响cube，同时会决定spark on yarn任务的内存配置等其他基于yarn组件的任务内存大小。如果不确定修改成多大，请咨询hadoop集群运维或cdh管理员。

1.容器的内存
yarn.nodemanager.resource.memory-mb = 32 GB

2.容器最大内存
yarn.scheduler.maximum-allocation-mb = 32 GB

3.容器虚拟cpu内核
yarn.nodemanager.resource.cpu-vcores = 16 cores

3 $KYLIN_HOME/conf/setenv.sh

在 $KYLIN_HOME/conf/setenv.sh 中存在对 KYLIN_JVM_SETTINGS 的两种示例配置。
默认配置使用的内存较少，用户可以根据自己的实际情况，注释掉默认配置并取消另一配置前的注释符号以启用另一配置，从而为 Kylin 实例分配更多的内存资源，该项配置的默认值如下：

export KYLIN_JVM_SETTINGS="-Xms1024M -Xmx4096M -Xss1024K -XX`MaxPermSize=512M -verbose`gc -XX`+PrintGCDetails -XX`+PrintGCDateStamps -Xloggc`$KYLIN_HOME/logs/kylin.gc.$$ -XX`+UseGCLogFileRotation -XX`NumberOfGCLogFiles=10 -XX`GCLogFileSize=64M"
# export KYLIN_JVM_SETTINGS="-Xms16g -Xmx16g -XX`MaxPermSize=512m -XX`NewSize=3g -XX`MaxNewSize=3g -XX`SurvivorRatio=4 -XX`+CMSClassUnloadingEnabled -XX`+CMSParallelRemarkEnabled -XX`+UseConcMarkSweepGC -XX`+CMSIncrementalMode -XX`CMSInitiatingOccupancyFraction=70 -XX`+UseCMSInitiatingOccupancyOnly -XX`+DisableExplicitGC -XX`+HeapDumpOnOutOfMemoryError -verbose`gc -XX`+PrintGCDetails -XX`+PrintGCDateStamps -Xloggc`$KYLIN_HOME/logs/kylin.gc.$$ -XX`+UseGCLogFileRotation -XX`NumberOfGCLogFiles=10 -XX`GCLogFileSize=64M"

4 $KYLIN_HOME/conf/kylin_hive_conf.xml

1.设置hive压缩，以snappy为例
<property>
	<name>mapreduce.map.output.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>
<property>
	<name>mapreduce.output.fileoutputformat.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>

2.

5 $KYLIN_HOME/conf/kylin_job_conf.xml

1.设置mapreduce输出压缩，以snappy为例
<property>
	<name>mapreduce.map.output.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>
<property>
	<name>mapreduce.output.fileoutputformat.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>

6 $KYLIN_HOME/conf/kylin_job_conf_inmem.xml

1.设置mapreduce输出压缩，以snappy为例
<property>
	<name>mapreduce.map.output.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>
<property>
	<name>mapreduce.output.fileoutputformat.compress.codec</name>
	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
	<description></description>
</property>

参考链接

https://www.jianshu.com/p/be07962d84cb
http://kylin.apache.org/cn/docs/tutorial/create_cube.html
http://kylin.apache.org/cn/docs/howto/howto_optimize_cubes.html

终回首
关注
专栏目录
Apache Kylin使用MapReduce构建cube的过程
恩特尔派
01-07 456
kylin在hive中会使用一个叫做kylindb的库 Step #1: Create Intermediate Flat Hive Table 做表关联，做一张关联后的宽表，具体步骤如下： 1.1 根据cube的维度、度量创建中间宽表 kylin_intermediate_cubeA。 DROP TABLE IF EXISTS kylin_intermediate_cubeA; CREATE E...
kylin如何支持flink_Apache Kylin | 用 Flink 构建 Cube
weixin_36486277的博客
12-29 450
Kylin v3.1 引入了 Flink cube engine，在 build cube 步骤中使用 Apache Flink 代替 MapReduce；您可以查看 KYLIN-3758 了解具体信息。当前的文档使用样例 cube 对如何尝试 new engine 进行了演示。准备阶段您需要一个安装了 Kylin v3.1.0 及以上版本的 Hadoop 环境。本文档中使用的Hadoop环境为C...
kylin简单优化cube
weixin_34253126的博客
01-11 149
优化Cube 层次结构 理论上，对于N维，你最终会得到2 ^ N维组合。但是对于某些维度组，不需要创建这么多组合。例如，如果您有三个维度：洲，国家，城市（在层次结构中，“更大”维度首先出现）。在深入分析时，您只需要以下三种组合组合： 按大陆分组 按大陆，国家分组 按大陆，国家，城市分组 在这种情况下，组合计数从2 ^ 3 = 8减少到3，这是一个很好的优化。 YEAR，QU...
kylin cube优化
Chunhong Song的专栏
09-08 686
一、最基本的cube构建信息：1.一个度量，并且计算包括：max、min and Count；2.模型中的所有维度都被使用；3.hive输入是一个CSV类型的外部表；4.输出是没有经过压缩的HBase表。二、kylin cube的优化方法：1.减少组合；         通过构建cube时对维度在joint and Hierarchy参数上的配置减少cuboid的组合数量。        join...
掌握Kylin：从工作原理到实战开发
最新发布
sinner小屋
08-09 1014
Apache Kylin 是一个开源的、分布式的分析型数据仓库，它提供了 SQL 接口和多维分析（OLAP）能力，能够处理超大规模数据。Kylin 通过预计算技术显著提升了大规模数据集上的查询效率，这对于需要快速响应的在线分析场景至关重要。Kylin 允许用户定义复杂的多维数据模型，这使得用户可以灵活地构建适合不同业务需求的分析模型。Kylin 可以与 Hadoop、Spark 等主流大数据技术集成，提供了一个统一的分析平台，支持企业在大数据生态中的进一步扩展。
Apache Kylin原理学习之Cube构建
Zhenxue_Xu的博客
05-11 461
Apache Kylin原理简介 Apache Kylin是一个开源的、基于Hadoop生态系统的OLAP查询引擎，能够通过SQL接口对十亿、甚至百亿行的超大数据集实现秒级的多维分析查询。 Kylin通过预计算实现超大数据集的秒级多维分析查询。对于超大数据集的复杂查询，既然现场计算需要花费较长时间，那么根据空间换时间的原理，我们就可以提前将所有可能的计算结果计算并存储下来，从而实现超大数据集的秒级...
Kylin的介绍、使用和原理架构(Kylin3.0和Kylin4.0，Cube，去重原理，性能优化，MDX For Kylin，BI工具集成)
迷雾总会解
06-22 4209
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。在Apache Kylin的现有实现中，Cube的每个Segment都会创建独立的字典，这种方式会导致相同数据在不同Segment字典中被映射成不同的值，这会导致最终的去重结果出错。
kylin（一）使用心得
Interest1_wyt的博客
05-09 1772
最近做OLAP工作时一直在和kylin打交道，因为kylin相关知识比较多，所以为了加深对kylin的整体理解以及把自己的经验分享给大家，便准备周末写了该文章，正文如下 1、kylin概述 在讲解kylin之前，先大致说下OLAP和OLTP。OLTP也称联机事务处理，一般指面向传统关系型数据库，实时性要求比较高的事务操作。OLAP也称联机分析处理，一般指面向大数据场景的分析操作。因为二者所应对的数据体量不同，所以其主要的功能和应用场景也不同。OLAP主要是处理大数据，使分析人员能够从各个角度观察信息，目
Apache Kylin操作流程
06-27
- **新建项目**：在Kylin中创建一个新的项目，这一步主要是为了组织Cube和Model，并定义项目的元数据源。 - **加载Hive中的表**：将Hive中的表加载到Kylin项目中，为后续的Cube构建做好准备。 ##### 2.3 创建Model ...
Kylin-Cube创建
hua_chang的博客
05-30 325
目录 I. 新建项目 II. 同步Hive表 III. 新建 Data Model IV. 新建 Cube I. 新建项目 由顶部菜单栏进入Model页面，然后点击Manage Projects。 点击+ Project按钮添加一个新的项目。 填写下列表单并点击submit按钮提交请求。 成功后，底部会显示通知。 II. 同步Hive表 在顶部菜单栏点击Model，然后点击左边的Data Source标签，它会列出...
Apache Kylin介绍
zisheng_wang_DATA的博客
05-04 2224
Kylin是ebay开发的一套OLAP系统，主要是对hive中的数据进行预计算，利用hadoop的mapreduce框架实现。通过设计维度、度量，我们可以构建星型模型或雪花模型，生成数据多维立方体Cube，基于Cube可以做钻取、切片、旋转等多维分析操作。Apache Kylin核心思想简单来说，Kylin的核心思想是预计算，用空间换时间，即对多维分析可能用到的度量进行预计算，将计算好的结果保存成C
Kylin简介
m0_70220205的博客
09-21 197
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。通过Kylin，可以实现超大数据集的亚秒级查询。另外一定要提的一点，Kylin是首个由中国人引导并完成开发的Apache顶级开源项目！
大数据之Kylin
weixin_41100967的博客
07-13 735
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。
Kylin知识点总结
默主归沙的博客
06-04 1931
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。的出现就是为了解决大数据系统中级别数据的数据分析需求，它提供之上的查询接口及多维分析()能力以支持超大规模数据，它能在亚秒内查询巨大的表。其核心是预计算，计算结果存在中。作为大数据分析神器，它也需要站在巨人的肩膀上，依赖、、、等服务。的主要优势为以下几点：的核心思想是预计算。理论基
Kylin基础操作命令
2403_83831433的博客
06-13 2743
2.1 root：用户名 @:间隔符 yuanjia：主机名 ～：表示当前目录（～表示家目录） #：表示当前用户身份（#表示管理员身份，$表示普通用户身份）。1.1补全键：要经常使用tab键，如果按一次出不来就按两次，此时表示命令不唯一，如果按两次还不出来就说明命令错误。格式：touch 文件名（作用：第一次touch一个文件，表示创建文件，第二次touch一个文件，表示刷新时间戳）6.4 mkdir：创建目录（尽量都创建在/下面）7.2 cp（copy）：默认复制文件。
Kylin简述
wudidahuanggua的博客
10-05 1056
kylin简述
KylinOS使用教程
笔记|思路|总结
09-02 1873
银河麒麟是目前国内国产化操作系统主流产品之一。银河麒麟高级服务器操作系统V10是针对企业级关键业务，适应虚拟化、云计算、大数据、工业互联网时代对主机系统可靠性、安全性、性能、扩展性和实时性等需求，依据CMMI5级标准研制的提供内生本质安全、云原生支持、自主平台深入优化、 高性能、易管理的新一代自主服务器操作系统。虚拟化平台：VMware Workstation 16 Pro操作系统：银河麒麟服务器版V10。
Kylin基本介绍、特点、架构
Bulut0907
01-29 1167
Kylin是一种MOLAP(Multidimensional OLAP)，基于多维数据集，需要预计算。另一种OLAP是ROLAP(Relational OLAP)，基于关系型数据库，不需要预计算，例如Presto一个多维数据集称为一个OLAP Cube，例如城市、品类、月份这三个维度，形成共七种组合的数据集。Cuboid是其中的一个组合数据集，例如城市、品类组合形成的数据集。
Kylin基础教程（一）
weixin_30483013的博客
02-28 537
一、Kylin介绍 1.1 现状 Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战，辟如我们面临的一些质疑：Hadoop老矣，尚能饭否？ 其中也出现过各种各样的框架来协助Hadoop降低访问数据的延迟，比如列存储框架（Columnar ...
Apache Kylin Cube优化与查询加速实战
"ApacheKylin深入Cube和查询优化" ...Apache Kylin的Cube和查询优化是提升大数据分析效率的关键步骤。理解Cube的工作原理，掌握优化策略，以及不断根据实际运行情况进行调整，将使Kylin成为更强大、更高效的分析平台。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值