Apache Kylin
zengrui_ops
这个作者很懒,什么都没留下…
展开
-
Kylin源码分析系列一—任务调度
Kylin源码分析系列一—任务调度注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。一. 相关介绍 Kylin在Web上触发Cube的相关操作后并不是马上执行相关的操作,而是将构建的任务提交到任务调度服务,任务调度服务每隔一段时间会将提交了未执行的job进行调度执行,默认是30s调度一次,可根据配置项kylin.job.scheduler.p...转载 2019-01-05 16:19:39 · 2197 阅读 · 0 评论 -
Kylin源码分析系列二—Cube构建
Kylin源码分析系列二—Cube构建注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。1.构建流程前面一篇文章介绍了Kylin中的任务调度服务,本篇文章正式介绍Kylin的核心内容Cube,主要讲述Cube构建的过程。下面的构建过程选择使用spark构建引擎来说明(MR引擎自行类比阅读相关源码)。首先介绍下Cube构建的整体流程,看下kylin w...原创 2019-01-05 16:44:31 · 2589 阅读 · 2 评论 -
Kylin源码分析系列三—rowKey编码
Kylin源码分析系列三—rowKey编码注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。1. 相关概念前面介绍了Kylin中Cube构建的流程,但Cube数据具体是以什么样的形式存在,可能还不是特别清晰明了,这篇文章就详细介绍下Cube数据的数据格式,主要就是其rowKey的编码,看下Kylin是怎样来保存各种维度组合下的各种度量的统计值的。这里首先...原创 2019-01-05 16:48:49 · 3175 阅读 · 0 评论 -
Kylin源码分析系列四—Cube查询
Kylin源码分析系列四—Cube查询注:Kylin源码分析系列基于Kylin的2.5.0版本的源码,其他版本可以类比。一. 简介前面文章介绍了Cube是如何构建的,那构建完成后用户肯定是需要对这些预统计的数据进行相关的查询操作,这篇文章就介绍下Kylin中是怎样通过SQL语句来进行Cube数据的查询的。Kylin中的查询是在web页面上输入sql语句然后提交来执行相关查询,页面上的提...原创 2019-01-05 16:54:53 · 3095 阅读 · 1 评论 -
Apache Kylin 2.5.0安装和使用
Apache Kylin 2.5.0安装和使用1.背景Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。Apache Kylin官网:http://kylin.apache.org/Kylin的官网上每个版本的都提供两...原创 2019-01-07 10:55:01 · 4342 阅读 · 2 评论