![](https://img-blog.csdnimg.cn/20210601095134794.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kylin
文章平均质量分 82
总结笔者Kylin实践经验
扫地增
莫问,问就是无敌
展开
-
Kylin实战(八)—— REST API演示和Kylin_JDBC演示代码
文章目录REST API Query查询代码REST API 查询查询结果Kylin_JDBC查询代码Kylin_JDBC查询结果:无论您是从笔者上篇文章过来,还是新读到本文,REST API在这里就不多说了,我们直接接给出示例:REST API Query查询代码:REST API Query查询代码curl -X POST --user ADMIN:KYLIN -H "Content-Type: application/json" -d '{ "sql":"select d.loc,e.jo原创 2021-06-02 10:24:34 · 293 阅读 · 1 评论 -
Kylin实战(七)—— Kylin Cube构建算法
Cube物理模型:Kylin Cube构建算法主要分为两种一种是逐层构建算法,另一种是快速构建算法。逐层构建算法:从模型理解从MR任务来看:优点官网提供的算法的优点:1)此算法充分利用了MapReduce的能力,处理了中间复杂的排序和洗牌工作,故而算法代码清晰简单,易于维护;2)受益于Hadoop的日趋成熟,此算法对集群要求低,运行稳定;在内部维护Kylin的过程中,很少遇到在这几步出错的情况;即便是在Hadoop集群比较繁忙的时候,任务也能完成。个人觉得这是hadoop的优原创 2021-06-02 10:05:25 · 798 阅读 · 1 评论 -
Kylin实战(六)—— Kylin Cube构建优化以及增量构建Cube
文章目录Cube 构建优化方向:Cube 构建优化的几种方式:1、使用衍生维度(derived dimension)(官网提供)1) `Normal`和`Derived`的选用2、使用聚合组什么是聚合组1)强制维度(Mandatory Dimensions)2)层级维度3)联合维度3、RowKey优化1)将用作过滤条件(where)的维度放在前边2)基数大的维度放在基数小的维度的前边4、并发粒度优化1)通过增加region 切分增加并发力度2)通过设置Region的数量范围来控制并发粒度增量构建Cube流程原创 2021-06-01 18:42:59 · 876 阅读 · 1 评论 -
Kylin实战(五)—— Cube构建流程
废话不多说我们直接上步骤:第一步:创建中间宽表(Create Intermediate Flat Hive Table)第二步:数据均分第三步:进行字典编码、范围统计和cuboid估算第四步:构建Cube,执行MR,生成预聚合表第五步: HBase存储K_V值构建(也就是Rowkey构建)第六步:将Cube中的数据转换为HFile格式并存储到HBase中这一步会启动一个MR任务用来将cuboid文件(顺序文件格式)转换为Hbase的HFile文件。Kylin通过c原创 2021-06-01 16:45:59 · 624 阅读 · 11 评论 -
Kylin实践(四)—— Kylin的使用以及Model和Cube构建详细流程
Kylin如何使用?首先,在测试环境启动Hadoop、Hive、HBase、Zookeeper然后,在测试环境/home/hadoop/kylin/kylin-2.5.1-bin-hbase中启动Kylin,执行如下命令:[hadoop@kb-testhadoop01 kylin-2.5.1-bin-hbase]$ bin/kylin.sh start注意:启动前执行jps查看Hadoop、Hive、HBase、Zookeeper是否启动,如出现以下信息则kylin启动成功。在原创 2021-06-01 16:03:57 · 1537 阅读 · 3 评论 -
Kylin实践(三)—— Kylin安装启动
本来这个不打算分享的,因为之前出现了几个错误就和大家说一下Kylin官网安装:下载Kylin安装包,我一般喜欢下载时间在一年到一年半的这坑基本上被填平的工具安装。但是不建议选择在版本大改前的版本。所以选择的是2.5.1这个版本。将下载的 apache-kylin-2.5.1-bin-hbase1x.tar.gz,上传到测试环境/home/hadoop/Kylin上传的工具使用我是用的是Transmit的这个工具,主要是可视化的可以直接拖拽然后解压tar包。配置环境变量,在原创 2021-06-01 15:13:26 · 396 阅读 · 1 评论 -
Kylin实践(一)——Kylin中必须要理解的基本概念和术语
什么是kylin?Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay公司开发并贡献到apche开源社区成为顶级项目的,他也是第一个由中国。它能在亚秒内查询巨大的Hive表。概念预知:数据仓库: 各种数据(包括历史数据和当前的数据)的存储中心系统,简单的来说数据仓库就是hive中的数据库和数据表补充: 这里所说的各种数据主要包括以下三个方面:来自公司业务系统的订单、下单、交易、原创 2021-06-01 11:33:19 · 478 阅读 · 2 评论 -
Kylin实践(二)—— Kylin架构介绍
Kylin架构介绍原创 2021-06-01 11:31:50 · 990 阅读 · 1 评论