kylin
文章平均质量分 60
大数据面壁者
大数据相关知识分享,框架底层原理机制,生产学习中遇到的相关问题分享,共同学习,共同进步。
展开
-
Kylin使用
Kylin使用 ①新建一个Project ②在工程中,连接Hive,选择感兴趣的表和库 ③从感兴趣的表和库,进行 建模(星型模型,雪花模型) ④从建的模型中定义Cube ⑤将定义的Cube执行运算(build) ⑥Cube计算完毕,使用SQL进行查询 1. 创建工程 1)点击下图中的"+"。 2)填写项目名称和描述信息,并点击Submit按钮提交。 2. 获取数据源 1)点击DataSource 2)点击下图按钮导入Hive表 3)选择所需数据表,并点击Sync按钮 3. 创建model 1原创 2021-01-24 15:45:16 · 693 阅读 · 0 评论 -
Kylin Cube构建优化
Kylin Cube构建优化 目录Kylin Cube构建优化1. 使用衍生维度(derived dimension)2. 使用聚合组(Aggregation group)3. Row Key优化4. 并发粒度优化 1. 使用衍生维度(derived dimension) 衍生维度用于在有效维度内将维度表上的非主键维度排除掉,并使用维度表的主键(其实是事实表上相应的外键)来替代它们。Kylin会在底层记录维度表主键与维度表其他维度之间的映射关系,以便在查询时能够动态地将维度表的主键“翻译”成这些非原创 2021-01-24 15:36:36 · 137 阅读 · 0 评论 -
Kylin Cube构建原理
Kylin Cube构建原理 目录Kylin Cube构建原理1. 维度和度量2. Cube和Cuboid3. Cube存储原理4. Cube构建算法1)逐层构建算法(layer)2)快速构建算法(inmem) 1. 维度和度量 维度:即观察数据的角度。比如员工数据,可以从性别角度来分析,也可以更加细化,从入职时间或者地区的维度来观察。维度是一组离散的值,比如说性别中的男和女,或者时间维度上的每一个独立的日期。因此在统计时可以将维度值相同的记录聚合在一起,然后应用聚合函数做累加、平均、最大和最小值等聚合原创 2021-01-24 15:02:14 · 222 阅读 · 0 评论 -
使用Rest方式请求构建kylinCube的脚本
#!/bin/bash #要构建的cube的名称 cube_name=order_new if [ -n "$1" ] then do_date=$1 else do_date=`date -d '-1 day' +%F` fi #获取00:00时间戳,服务端默认是UTC时间,需要+8h转GMT+8时间 date -d 'xx' +%s 将当前日期格式化为举例197 0-1-1 的秒数 start_date_unix=`date -d "$do_date 08:00:0原创 2021-01-24 14:42:29 · 153 阅读 · 0 评论 -
使用Zepplin连接Kylin进行数据可视化分析
使用Zepplin连接Kylin进行数据可视化分析 1)Zepplin安装与启动 (1)将zeppelin-0.8.0-bin-all.tgz上传至Linux (2)解压zeppelin-0.8.0-bin-all.tgz之/opt/module [hadoop@hadoop102 sorfware]$ tar -zxvf zeppelin-0.8.0-bin-all.tgz -C /opt/module/ (3)修改名称 [hadoop@hadoop102 module]$ mv zeppelin-0.原创 2021-01-24 14:21:59 · 387 阅读 · 0 评论 -
使用JDBC方式读取Kylin结果
使用JDBC方式读取Kylin结果 一、准备依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/原创 2021-01-24 12:54:07 · 223 阅读 · 1 评论 -
Kylin开源版本使用中的报错及解决方法
Kylin开源版本使用中的报错及解决方法 1.解决启动报错 第一次启动时报错: Constructor threw exception; nested exception is java.lang.ClassCastException: com.fasterxml.jackson.datatype.jsr310.JavaTimeModule cannot be cast to com.fasterxml.jackson.databind.Module 解决: vim kylin家目录/bin/find原创 2021-01-24 11:28:08 · 904 阅读 · 0 评论 -
Hadoop生态圈之即席查询工具Kylin
Kylin简介 一、Kylin 定义 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 二、Kylin架构 1)REST Server REST Server是一套面向应用程序开发的入口点,旨在实现针对Kylin平台的应用开发工作。 此类应用程序可以提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等等。另外可以原创 2021-01-22 16:42:11 · 626 阅读 · 0 评论