大数据OLAP引擎

一、OLAP介绍

1. OLAP简介

OLAP（Online AnalyticalProcessing）是一种数据处理技术，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。数据仓库对外数据能力的一种重要的输出方式。

1. OLAP遵循以下准则

   1. OLAP模型必须提供多维概念视图
   2. 透明性准则
   3. 存取能力准则
   4. 稳定的报表能力
   5. 客户/服务器体系结构
   6. 维的等同性准则
   7. 动态的稀疏矩阵处理准则
   8. 多用户支持能力准则
   9. 非受限的跨维操作
   10. 直观的数据操纵
   11. 灵活的报表生成
   12. 不受限的维与聚集层次

2. OLAP场景的关键特征

   1. 大多数是读请求
   2. 数据总是以相当大的批(> 1000 rows)进行写入
   3. 不修改已添加的数据
   4. 每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列
   5. 宽表，即每个表包含着大量的列
   6. 较少的查询(通常每台服务器每秒数百个查询或更少)
   7. 对于简单查询，允许延迟大约50毫秒
   8. 列中的数据相对较小：数字和短字符串(例如，每个URL 60个字节)
   9. 处理单个查询时需要高吞吐量（每个服务器每秒高达数十亿行）
   10. 事务不是必须的
   11. 对数据一致性要求低
   12. 每一个查询除了一个大表外都很小
   13. 查询结果明显小于源数据，换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中