OLAP技术【初学】
Kylin
江湖侠客
这个作者很懒,什么都没留下…
展开
-
第6章 BI工具集成
上篇:第5章 Cube构建优化可以与Kylin结合使用的可视化工具很多,例如:ODBC:与Tableau、Excel、PowerBI等工具集成JDBC:与Saiku、BIRT等Java工具集成RestAPI:与JavaScript、Web网页集成Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。1、JDBC1)新建项目并导入依赖<...原创 2020-02-21 13:26:57 · 539 阅读 · 0 评论 -
第5章 Cube构建优化
上篇:第4章 Cube构建原理从之前章节的介绍可以知道,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。假设有4个维度,我们最终会有24 =16个Cuboid需要计算。但在现实情况中,用户的维度数量一般远远大于4个。假设用户有10 个维度,那么没有经过任何优化的Cube就会存在210 =1024个Cuboid;而如果用户...原创 2020-02-21 12:12:09 · 257 阅读 · 0 评论 -
第4章 Cube构建原理
上篇:第3章 大数据Kylin快速入门1、Cube构建流程2、Cube构建算法我们知道,一个N维的Cube,是由1个N维子立方体、N个(N-1)维子立方体、N*(N-1)/2个(N-2)维子立方体、…、N个1维子立方体和1个0维子立方体构成,总共有2^N个子立方体组成,在逐层算法中,按维度数逐层减少来计算,每个层级的计算(除了第一层,它是从原始数据聚合而来),是基于它上一层级的结果来...原创 2020-02-21 11:45:08 · 466 阅读 · 0 评论 -
第3章 大数据Kylin快速入门
上篇:第2章 Kylin环境搭建1、需求:实现按照维度(工作地点)统计员工信息数据准备在Hive中创建数据,分别创建部门和员工外部表,并向表中导入数据。(1)原始数据准备到/usr/local/hadoop/module/datas文件目录下dept.txt//添加数据10 ACCOUNTING 170020 RESEARCH 180030 SALES 190040 OP...原创 2020-02-20 23:33:30 · 2088 阅读 · 0 评论 -
模型创建
上篇:第2章 Kylin环境搭建1、可视化工程创建步骤:弹出:创建ok多出一条数据:原创 2020-02-20 22:22:27 · 202 阅读 · 0 评论 -
第2章 Kylin环境搭建
前提准备好进程环境:启动Kylin之前要保证HDFS,YARN,ZK,HBASE相关进程是正常运行的。查看进程:[root@hadoop105 ~]# jps -l78017 org.apache.hadoop.hbase.regionserver.HRegionServer125808 org.apache.hadoop.util.RunJar9393 -- process info...原创 2020-02-20 19:24:46 · 308 阅读 · 1 评论 -
第1章 大数据Kylin之术语
上篇:第1章 大数据Kylin之概述(上)1、Data Warehouse(数据仓库)数据仓库是一个 各种数据(包括历史数据和当前数据)的中心存储系统,是BI( business intelligence ,商业智能)的核心部件。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。2、Bus...原创 2020-01-30 12:51:22 · 227 阅读 · 0 评论 -
第1章 大数据Kylin之概述
Kylin概述1.1、 Kylin定义Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP) 能力以支持超大规模数据,最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。1.2、 Kylin架构(1)REST ServerREST Server是一套面向应用程序开发的入口点,旨在实现针对Kylin...原创 2020-01-30 12:39:37 · 1613 阅读 · 0 评论