kylin
文章平均质量分 60
大数据面壁者
大数据相关知识分享,框架底层原理机制,生产学习中遇到的相关问题分享,共同学习,共同进步。
展开
-
Kylin使用
Kylin使用①新建一个Project②在工程中,连接Hive,选择感兴趣的表和库③从感兴趣的表和库,进行 建模(星型模型,雪花模型)④从建的模型中定义Cube⑤将定义的Cube执行运算(build)⑥Cube计算完毕,使用SQL进行查询1. 创建工程1)点击下图中的"+"。2)填写项目名称和描述信息,并点击Submit按钮提交。2. 获取数据源1)点击DataSource2)点击下图按钮导入Hive表3)选择所需数据表,并点击Sync按钮3. 创建model1原创 2021-01-24 15:45:16 · 687 阅读 · 0 评论 -
Kylin Cube构建优化
Kylin Cube构建优化目录Kylin Cube构建优化1. 使用衍生维度(derived dimension)2. 使用聚合组(Aggregation group)3. Row Key优化4. 并发粒度优化1. 使用衍生维度(derived dimension)衍生维度用于在有效维度内将维度表上的非主键维度排除掉,并使用维度表的主键(其实是事实表上相应的外键)来替代它们。Kylin会在底层记录维度表主键与维度表其他维度之间的映射关系,以便在查询时能够动态地将维度表的主键“翻译”成这些非原创 2021-01-24 15:36:36 · 135 阅读 · 0 评论 -
Kylin Cube构建原理
Kylin Cube构建原理目录Kylin Cube构建原理1. 维度和度量2. Cube和Cuboid3. Cube存储原理4. Cube构建算法1)逐层构建算法(layer)2)快速构建算法(inmem)1. 维度和度量维度:即观察数据的角度。比如员工数据,可以从性别角度来分析,也可以更加细化,从入职时间或者地区的维度来观察。维度是一组离散的值,比如说性别中的男和女,或者时间维度上的每一个独立的日期。因此在统计时可以将维度值相同的记录聚合在一起,然后应用聚合函数做累加、平均、最大和最小值等聚合原创 2021-01-24 15:02:14 · 217 阅读 · 0 评论 -
使用Rest方式请求构建kylinCube的脚本
#!/bin/bash#要构建的cube的名称cube_name=order_newif [ -n "$1" ]then do_date=$1else do_date=`date -d '-1 day' +%F`fi#获取00:00时间戳,服务端默认是UTC时间,需要+8h转GMT+8时间 date -d 'xx' +%s 将当前日期格式化为举例1970-1-1 的秒数start_date_unix=`date -d "$do_date 08:00:0原创 2021-01-24 14:42:29 · 149 阅读 · 0 评论 -
使用Zepplin连接Kylin进行数据可视化分析
使用Zepplin连接Kylin进行数据可视化分析1)Zepplin安装与启动(1)将zeppelin-0.8.0-bin-all.tgz上传至Linux(2)解压zeppelin-0.8.0-bin-all.tgz之/opt/module[hadoop@hadoop102 sorfware]$ tar -zxvf zeppelin-0.8.0-bin-all.tgz -C /opt/module/(3)修改名称[hadoop@hadoop102 module]$ mv zeppelin-0.原创 2021-01-24 14:21:59 · 385 阅读 · 0 评论 -
使用JDBC方式读取Kylin结果
使用JDBC方式读取Kylin结果一、准备依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/原创 2021-01-24 12:54:07 · 222 阅读 · 1 评论 -
Kylin开源版本使用中的报错及解决方法
Kylin开源版本使用中的报错及解决方法1.解决启动报错第一次启动时报错:Constructor threw exception; nested exception is java.lang.ClassCastException: com.fasterxml.jackson.datatype.jsr310.JavaTimeModule cannot be cast to com.fasterxml.jackson.databind.Module解决:vim kylin家目录/bin/find原创 2021-01-24 11:28:08 · 895 阅读 · 0 评论 -
Hadoop生态圈之即席查询工具Kylin
Kylin简介一、Kylin 定义Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。二、Kylin架构1)REST ServerREST Server是一套面向应用程序开发的入口点,旨在实现针对Kylin平台的应用开发工作。 此类应用程序可以提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等等。另外可以原创 2021-01-22 16:42:11 · 624 阅读 · 0 评论