初识OLAP

什么是OLAP

OLAP(on-Line Analysis Processing)是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。这个定义太官方了，简单来说，通过对过往历史数据(数据量通常会大)的分析，获取数据的价值，支撑业务发展的决策，通过olap分析出来的数据通常是给老板看的

OLAP中的概念和操作

一些概念

在数据分析的过程中，数据分析的目标是维度，也就是面向某个"维"，进行数据的分析。
如下图的数据有三个维度：时间，地域，商品品类。

维(Dimension)：人们观察事物的视角，如时间、地理位置、年龄和性别等，是单一角度概念。
维的层次(Lever of Dimension)：表示维度概念基础上进一步的细分，如时间可以细分为年、季度、月三个层次。
维成员(Member of Dimension)：表示维不可再细分的原子取值，如时间维的成员可以是2019年1月10日。
度量(Measure)：表示在这个维成员上的取值。

一些操作

在数据分析中，通常都是对原始数据，在某个维度或多个维度上的聚合操作，常用的操作有如下几种：

钻取

钻取又可以分为 “下钻” 和 “上钻”。
下钻：维度是有层次的，下探表示进入维度的下一层，将汇总数据拆分到下一层所在细节数据信息，如下图从第二季度下探到看4、5、6月的明细数据。

上钻：下探的反向操作，回到更高汇聚层的汇总数据。

切片

切片可以理解成把立体按某一个维度进行切分，就可以看两维数据，如图中按电子产品切分，看到的是时间和地理位置关系的二维数据。

切块

相对于切片是按一个点切分，切块就是按一个范围(区间)来做切分。

旋转

维的行列位置交换，换一个视角分析数据。

OLAP分类

按照数据的存储形式不同，OLAP可以分为两种： ROLAP和MOLAP

ROLAP

ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。

维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为"雪花模式"。

基于关系模型存放数据，一般要求事实表（fact table）和维度表（dimensition table）按一定关系设计，它不需要预计算，使用标准SQL就可以根据需要即时查询不同维度数据。

优点

扩展性强，适用于维度数量多的模型，MOLAP对于维度多的模型预计算慢，空间占用大。

缺点

缺点也很明显，因为是即时计算，查询响应时间一般比预计算的MOLAP长

以ROLAP为代表的有传统关系型数据库、MPP分布式数据库以及基于Hadoop的Spark/Impala，特点是能同时连接明细数据和汇总数据，实时根据用户提出的需求对数据进行计算后返回给用户，所以用户使用相对比较灵活，可以随意选择维度组合来进行实时计算。

正因为采用的实时计算技术，所以ROLAP的缺点也比较明显——当计算的数据量达到一定级别或并发数达到一定级别的时候，一定会出现性能问题(就好比如果领导一次性给你安排非常多的工作，你一个人是无法马上将所有事情做完答复领导的)。

MOLAOP

以多维数组（Multi-dimensional Array）存储模型的OLAP，是OLAP发源最初的形态，某些方面也等同于OLAP。它的特点是数据需要预计算（pre-computaion），然后把预计算之后的结果（cube）存在多维数组里。

优点：

cube包含所有维度的聚合结果，所以查询速度非常快。
计算结果数据占用的磁盘空间相对关系型数据库更小

缺点：

空间和时间开销大。update cube的时间跟计算维度（degree）相关，随着维度增加计算时间大幅增加，此外预计算还会造成数据库占用急剧膨胀。

查询灵活度比较低。需要提前设计维度模型，查询分析的内容仅限于这些指定维度，增加维度需要重新计算。

以MOLAP分析为代表的有Cognos，SSAS，Kylin等，设计理念是预先将客户的需求计算好以结果的形式存下来（比如一张表分为10个维度，5个度量，那客户提出的需求会有2的10次方种可能，然后将这么多种可能提前计算好存储下来)，当客户提出需求后，找到对应结果返回即可（好比你提前一天将领导明天会布置的任务先做好，明天领导布置对应任务后你直接告知他已做好），特点是当命中需求后返回非常快（所以MOLAP非常适合常见固定的分析场景），同等资源下支持的数据体量更大，支持的并发更多，不足则是当表的维度越多，越复杂，其所需的磁盘存储空间则越大，构建cube也需要一定的时间。

总结

除了ROLAP和MOLAP两种数据组织形式外，为了适应复杂业务的发展。目前业界对OLAP又提出了第三种数据组织形式HOLAP。

HOLAP充分利用了ROLAP与MOLAP的各自优势，从纵向角度，既允许用户将部分数据（比如聚合类数据）使用MOLAP进行存储，从而获得更快的查询性能；又允许部分数据（比如原始数据）使用ROLAP进行存储，使用户能够查看细粒度数据。从横向角度，使用MOLAP存储最近较热的数据，从而提升查询性能；而使用ROLAP存储历史较冷的数据。目前，商业类的OLAP产品更偏向于HOLAP，因为大厂既不想丢弃一直使用的关系型数据库，又想在数据分析能力上获得进一步提升，所以HOLAP类产品近几年也是百花齐放。