![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kylin
kismetG
HelloWorld
展开
-
kylin --Kylin Cube优化
Cuboid剪枝优化为什么要进行Cuboid剪枝优化将以减少Cuboid数量为目的的Cuboid优化统称为Cuboid剪枝。在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。如果有4个维度,可能最终会有2^4 =16个Cuboid需要计算。但在实际开发中,用户的维度数量一般远远大于4个。 如果有10个维度,那么没有经过任何优化的Cube就会存在2^10 =1024个Cuboid 如果有20个维度,那么Cube中总共会存在2原创 2020-05-18 10:53:58 · 808 阅读 · 0 评论 -
kylin -- 使用JDBC连接操作Kylin
(数据见资源包kylin)要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果使用Kylin的JDBC与JDBC操作MySQL一致jdbc urljdbc:kylin://node1:7070/tt01 用户名密码:ADMIN/KYLIN需求通过JDBC方式,查询按照日期、区域、产品维度统计订单总额/总数量结果开发步骤导入驱动依赖<dependencies> <!-- Kylin --> ...原创 2020-05-17 11:17:17 · 3228 阅读 · 0 评论 -
Kylin -- 增量构建 自动合并分区 自动删除Segment
增量构建应用场景Kylin在每次Cube的构建都会从Hive中批量读取数据,而对于大多数业务场景来说,Hive中的数据处于不断增长的状态。为了支持Cube中的数据能够不断地得到更新,且无需重复地为已经处理过的历史数据构建Cube,因此对于 Cube引入了增量构建的功能理解Cube、Cuboid与Segment的关系Kylin将Cube划分为多个Segment(对应就是HBase中的一个表),每个Segment用起始时间和结束时间来标志。Segment代表一段时间内源数据的预计算结果。一个Segm原创 2020-05-16 19:09:56 · 2390 阅读 · 0 评论 -
kylin -- 入门实战演练!!!
按照日期统计订单总额/总数量(Kylin方式)(测试资源请见kylin资源包!)要使用Kylin进行OLAP分析,需要按照以下方式来进行。1、创建项目(Project)2、创建数据源(DataSource)指定有哪些数据需要进行数据分析3、创建模型(Model)指定具体要对哪个事实表、那些维度进行数据分析4、创建立方体(Cube)指定对哪个数据模型执行数据预处理,生成不同维度的数据5、执行构建、等待构建完成6、再执行SQL查询,获取结果从Cube中查询数据操作步骤原创 2020-05-16 18:36:38 · 2154 阅读 · 0 评论 -
kylin -- 快速入门概述
1.快速入门概述1.1 Kylin 定义 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口 及多维分析(OLAP)能力以支持超大规数据,最初由 eBay Inc 开发并贡献至开源社区。 它能在亚秒内查询巨大的 Hive 表。1.2 Kylin 特点 Kylin 的主要特点包括支持 SQL 接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI 工具集成等。 1)标准 SQL 接口:Kylin 是以标准的 ..原创 2020-05-16 18:21:43 · 1854 阅读 · 0 评论 -
Kylin --入门安装介绍
Kylin 大数据OLAP引擎Kylin简介Kylin的诞生背景Kylin-中国团队研发的,是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目 Hive的性能比较慢,支持SQL灵活查询,特别慢 HBase的性能快,原生不支持SQL- phoenix:可以写sql语句来查询hbase!! Kylin是将先将数据进行预处理,将预处理的结果放在HBase中。效率很高Kylin的应用场景 Kylin 典型的应用场景如下:用户数据存在于Hadoop HDFS.原创 2020-05-13 16:33:36 · 1047 阅读 · 0 评论