数据仓库——数据处理方式
数据处理大致可以分成两大类
- 联机事务处理OLTP(On-Line Transaction processing)
- 联机分析处理OLAP(On-Line Analytical Processing)
OLTP
- OLTP的全称是On-line Transaction Processing,中文名称是联机事务处理。其特点是会有高并发且数据量级不大的查询,是主要用于管理事务(transaction-oriented)的系统。此类系统专注于short on-line-tansactions 如INSERT, UPDATE, DELETE Query操作。通常存在此类系统中的数据都是以实体对象模型来存储数据,并满足3NF(数据库第三范式)。
- 由于OLTP主要是为了操作数据而设计(操作系统),用于处理已知的任务和负载:常见的优化在于主码索引和散列,检索特定的记录。去优化某一些特定的查询语句。
OLAP
- OLAP的全称是 On-line Analytical Processing,中文名称是联机分析处理。其特点是查询频率较OLTP系统更低,但通常会涉及到非常复杂的聚合计算。 OLAP系统以维度模型来存储历史数据,其主要存储描述性的数据并且在结构上都是同质的。
- OLAP则是为了分析数据而设计(数据仓库),其查询的方式往往是复杂且未知的,通常会涉及大量数据在汇总后的计算,这种需要基于多维视图的数据操作在OLTP上执行的时候性能将是非常差的,并且是也是极其危险的。
功能 | OLTP | OLAP |
---|---|---|
用户 | 操作人员 | 决策人员 |
功能 | 日常操作处理 | 分析决策 |
DB设计 | 面向应用 | 面向主题 |
数据 | 当前的,最新的细节的,二维的分立的 | 历史的,聚集的,多维的集成的,统一的 |
存取 | 读/写少量记录 | 读写上百万条记录 |
工作单位 | 简单的事务 | 复杂的查询 |
DB大小 | 100MB-GB | 100GB-TB |