Kylin的入门学习

最新推荐文章于 2022-05-11 10:53:48 发布
最新推荐文章于 2022-05-11 10:53:48 发布
阅读量204 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45793819/article/details/107443002
版权
本文介绍了Kylin的基本架构、模型构建、Cube设计以及优化策略。重点探讨了Kylin的增量同步、维度组合以及如何通过排除不必要的计算来提升查询效率。同时提到了Kylin在处理层级维度和衍生维度时的优化技巧，并提供了Cube性能统计的相关命令。
摘要由CSDN通过智能技术生成

kylin的架构
在这里插入图片描述

基本操作 kylin
在这里插入图片描述
model
可能用到的维度 和可能用到的指标
在这里插入图片描述

Cube
业务中需要用到哪个指标 ，及哪个维度 有两个优化
在这里插入图片描述
优化的两部分
在这里插入图片描述
点击 这个才是正真执行
在这里插入图片描述

结果数据存储到哪个表
在这里插入图片描述

kylin适合星星模型

在这里插入图片描述
model可能用到的维度 和指标

在这里插入图片描述

cube 来源 sql ，sql根据业务
没有kylin需要计算 ，有kylin可以直接查询

kylin的底层原理 及优化

在这里插入图片描述

维度的组合 情况
n 代表维度的个数
2n次方 减 1 n

kylin中没有维度 也算一个维度 ，意思是说 没有group by 也算一种
在这里插入图片描述

一种可能称为 cubeid
在这里插入图片描述
所有的可能组合 cube
在这里插入图片描述

要么是维度 要么是指标

kylin的架构
在这里插入图片描述

kylin的增量
（增量的同步）
在这里插入图片描述

增量同步时 重新编译 ，修改下结束时间在这里插入图片描述

弊端
查询数据的速度太慢了
一个sessagement 对应hbase的一张表 ，同步一个增量数据就会 生成一个sessagement

在这里插入图片描述
在这里插入图片描述
合并

自动都需要 将cube设置为 无效
手动合并
时间 连续 ，运行期间不能删除数据 ，添加数据 ，修改 ，一个sessagement可以存储多天 也可以存储一天
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

sessagement再合并时 不许连续合并
（多个一天的合并 ，合并了一个多天的）
有层级关系时 最好是 倍数关系
在这里插入图片描述

删除
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

自动删除

设置保留的时间 ，过了保留的时间后自动删除
设置保留几天，设置保留的天数就会自动删除

在这里插入图片描述
在这里插入图片描述

用IDEA访问kylin时 只需要关注项目名

kylin Cube的优化
在这里插入图片描述

查新cubeid 有多少个的命令
bin /kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader cubeid名字
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

kylin优化有三种
1用不到的情况排除
2有层级的直接使用最后一层
3 不计算衍生维度的那种组合情况

kylin 维护 主键 和非主键 进行映射
原始的

衍生维度

衍生的维度排除计算 那种可能

在这里插入图片描述
第一种的结果
在这里插入图片描述

第二种
在这里插入图片描述
第二种的结果
在这里插入图片描述

分枝剪裁
123
聚合组
在这里插入图片描述

一种什么都不做
一种选着层级组合

牛犊6
关注
大数据Kylin（一）：基础概念和Kylin简介
Lansonli（蓝深李）的博客
02-10 1845
对于Hive中的维度表和事实表，根据我们指定的维度列来构建cube，cube是所有维度的组合，任一维度的组合称为cuboid，即：cube中包含所有的cuboid。正规化也是一种比较复杂的过程，相应的数据库结构设计、数据的 ETL、以及后期的维护都要复杂一些。MOLAP （Multidimension OLAP）： MOLAP支持数据的多维视图，采用多维数据组存储数据，它把维映射到多维数组的下标或下标的范围，而事实数据存储在数组单元中，从而实现了多维视图到数组的映射，形成了立方体的结构。
Kylin系列（一）—— 入门
热门推荐
w124374860的专栏
09-06 1万+
Kylin 入门到进阶 Kylin kylin构造算法 kylin构造过程 kylin维度优化 Kylin 入门到进阶 前言 核心概念 数据仓库 传统数仓和大数据数仓的区别 OLAP和OLTP 维度和度量 维度的基数 事实表和维度表 星型模型 Kylin中维度表的设计 Cube和Cuboid Kylin的技术架构 Kylin的核心模块 REST Server 查询引擎（Query...
Kylin 简单介绍
程序员学习圈
01-18 3533
1.Kylin定义     Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。   2.Kylin特点     Kylin的主要特点包括支持SQL接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI工具集成等。 (...
Kylin快速入门
shulixu的博客
12-13 286
在Hive中准备数据 Hive 需要被分析的数据必须先保存为Hive表的形式，然后Kylin才能 从Hive中导入数据，创建Cube。Apache Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为数 据库表，并可以将SQL语句转换为MapReduce或Tez任务进行运行，从而让 用户以类SQL（HiveQL，也称HQL）的方式管理和查询Hadoop上的海量数据 星...
kylin从入门到实战：实际案例
coding笔记
04-14 3365
版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=308 排版乱？请移步原文获得更好的阅读体验 前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理，这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。 1.创建project 进入kylin操作界面，如果没有project可以创建，kylin
kylin入门到实战：入门
coding笔记
04-12 1181
版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=292 排版乱？请移步原文获得更好的阅读体验 1.概述 kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口，能支持超大规模的数据分析。响应时间在亚秒级别，其核心是预计算，计算结果存放在hbase中。 2.特性 可扩展超快OLAP引擎
Kylin入门学习资料1
08-04
Kylin 入门学习资料 1 Kylin 概述 Apache Kylin 是一个开源的分布式分析引擎，提供 Apache Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力，以支持超大规模数据。Kylin 使用多维立方体预计算处理大数据查询，...
1.kyLin-V2.4-开发板基础学习例程
03-28
《kyLin-V2.4 开发板基础学习例程》 kyLin-V2.4 是一个专为初学者设计的嵌入式系统开发平台，它提供了丰富的硬件接口和软件资源，便于用户进行嵌入式系统的学习和开发。本文将深入探讨kyLin-V2.4 开发板的基础学习...
大数据学习资源之Kylin.pdf
08-18
本篇文章将深入探讨Kylin的学习目标、核心概念以及其在大数据环境中的应用。 首先，理解Kylin的学习目标至关重要。Kylin的主要目标是构建一个高性能的预计算框架，以支持大数据的多维分析和复杂查询。通过预先计算...
Kylin入门案例
qq_44509920的博客
05-17 236
文章目录测试数据表结构介绍导入测试数据按照日期统计订单总额/总数量（Hive方式）按照日期统计订单总额/总数量（Kylin方式） 测试数据表结构介绍 导入测试数据 为了方便后续学习Kylin的使用，需要准备一些测试表、测试数据。 1.Hive中创建表 2.将数据从本地文件导入到Hive 操作步骤 1、使用 beeline 连接Hive !connect jdbc:hive2://node1:10000 2、创建并切换到 itcast_dw 数据库 create database itcast_kylin
kylin实操入门
weixin_39198774的博客
11-27 734
先创建一个project   然后选择创建的project     然后点击data Source下的load Hive Table按钮 填写需要的hive表的全称（库名.表名），完成后点击Sync按钮就是数据导入   然后创建一个新的Model Model Name只能是英文   选择事实表(Fact Table)，可以通过 add lookup T...
Kylin基础
愿Bug与你同在
06-16 6840
1、kylin基本介绍 Apache Kylin 是一个开源的分布式分析引擎，最初由 eBay 开发贡献至开源 社区。它提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理 TB 乃至 PB 级别的分析任务，能够在亚秒级查询巨大的 Hive 表，并支持高并发。 1.1、为什么要使用kylin 自Hadoop 诞生以来，大数据的存储和批处理问题均得到了妥善解决，而如何高速地分析数据也就成为了下一个挑战。 于是各式各样的“SQL on Hadoop”技术应运而生，
Kylin的入门实战
Maynor的博客
05-11 1523
kylin入门代码
Kylin的使用入门案例快来瞅一瞅啦！！！！！[全网最全的没有之一]
11-04 922
大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有CSDN:https://zhenyu.blog.csdn.net/,感谢大家的支持,谢谢 送给大家一句话:今日事,今日毕 本篇博客主要讲解:入门使用案例 目标: 学习Kylin的基本使用 Kylin测试数据表结构介绍导入测试数据操作步骤按照日期统计订单总额/总数量 测试数据表结构介绍 dw_sal.
kylin -- 入门实战演练！！！
kismet
05-16 2172
按照日期统计订单总额/总数量（Kylin方式） （测试资源请见kylin资源包！） 要使用Kylin进行OLAP分析，需要按照以下方式来进行。 1、创建项目（Project） 2、创建数据源（DataSource） 指定有哪些数据需要进行数据分析 3、创建模型（Model） 指定具体要对哪个事实表、那些维度进行数据分析 4、创建立方体（Cube） 指定对哪个数据模型执行数据预处理，生成不同维度的数据 5、执行构建、等待构建完成 6、再执行SQL查询，获取结果 从Cube中查询数据 操作步骤
Apache kylin 入门学习 (1)kylin简单认识
养猪少年日记的博客
06-05 644
一kylin框架 Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 以Hive或者Kafka作为数据源，里面保存着真实表，而Kylin做的就是将数据进行抽象，通过引擎实现Cube的构建。 将Hbase作为数据的仓库，...
Kylin 快速入门
程序员学习圈
01-18 809
目录：     • 数据准备     • 创建项目     • 创建Model     • 创建Cube     • Hive和Kylin性能对比       • 需求：实现按照维度（工作地点）统计员工信息   1.数据准备     在Hive中创建数据，分别创建部门和员工外部表，并向表中导入数据。 1.1 原始数据      dep.txt 10    ACCOUNT...
Kylin权威安装与学习指南教程
资源摘要信息:"Kylin安装学习教程_KYLIN_" Kylin是一个开源的分布式分析型数据库，专为大数据查询和分析而设计。它的目的是在大数据环境下提供快速的SQL查询和OLAP功能，同时兼容Hadoop平台。Kylin特别适合于数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值