kylin学习笔记

一.前言

前段时间，有个项目接触到kylin这门技术，后面公司要求每个人每个季度做一次演讲，于是就结合公司的业务讲kylin（ps:感觉公司这个制度挺好的，虽然是强制的，但是至少督促我们对以前用过的东西做一些总结以及挖深）。这篇blog就把上次讲解的ppt再吵一次饭吧

 

二.OLAP背景

企业随着数据量的越来越大，数据分析查询响应时间以及 及时性要求也越来越来越高，如果按照传统的ETL方式处理，对于灵活的维度组合查询的需求不是很适用，也比较麻烦。 而OLTP(on-line transaction processing) 是传统数据库的运用，主要用于日常的事务处理，例如银行交易。  在这种背景下，OLAP(on-line analytical processing) 分析引擎孕育而生

 

三.OLAP方案对比

Druid 设计到的组建较多，偏重，SQL支持相对较弱。但查询效率上较快（亿级别及以上数据量 待比较），实时查询效果好

ES 不支持跨天去重，SQL支持较弱，超大数据量的写入不稳定，但查询灵活

Kylin 支持SQL查询，WEB节点配置模型，随大数据增大查询效率影响较小，维度较多时，查询效率可能较低

 

四.kylin原理及核心概念

工作原理 ：kylin先对数据模型做cube预计算，并将计算结果存储下来，即空间换时间的原理

核心概念： 维度和度量，维度通常记录一个属性，例如