数据仓库基本知识

目录

1.数据仓库

1.1 数据仓库起源

1.1.1 联机事务处理系统（On-Line Transaction Processing，OLTP）

1.1.2 联机分析处理系统（On-Line Analytical Processing，OLAP）

1.1.3 建立DW的基本条件

1.2 数据仓库基本概念

1.2.1 面向主题

1.2.2 集成

1.2.3 随时间变化

1.2.4 OLTP与OLAP的差异

1.3 数据仓库技术要求

1.3.1 ETL（Extract-Transform-Load）概念

1.3.2 ETL技术概念

1.3.3 集成平台

1.3.4 存储和管理

1.4 数据仓库体系结构

1.5 构造数据仓库方式

1.6 其他

1.6.1 BI的含义

1.6.3 BI的关键

1.6.4 BI的选型

---

1.数据仓库

1.1 数据仓库起源

1.1.1 联机事务处理系统（On-Line Transaction Processing，OLTP）

OLTP系统也称生产系统，是为了协助业务生产建设的系统，它是事件驱动、面向需求的。例如MES系统、WMS系统等就是典型的OLTP系统。OLTP系统在使用过程中积累了大量数据，存储在DB中。自从关系型数据库概念被提出后，联机事务处理一直是数据库应用的主流。

OLTP系统的特点：1、时间响应要求高；2、用户数据量庞大，主要是操作用户；3、数据库各种操作基于索引进行。

1.1.2 联机分析处理系统（On-Line Analytical Processing，OLAP）

OLAP系统也称分析系统，是基于数据仓库的信息分析处理的系统。OLAP系统是数据仓库的用户接口部分，它是数据驱动、面向分析的。OLAP系统是跨部门、面向主题的。例如Report系统。OLAP系统在建设时及建设后，积累了不同业务系统的海量数据，存储在DW（Data WareHouse,数据仓库）中。OLAP系统的出现晚于OLTP系统，而且只有数据规模较大的企业才会投资建设。

OLAP系统的特点：1、基础数据来源于生产系统的操作数据；2、用户数据量较小，主要是业务决策和管理人员；3、需要对数据的时间进行合理规划。

1.1.3 建立DW的基本条件

1. 该行业有较为成熟的OLTP系统，OLAP系统的建设提供了内部客官条件；
2. 该行业面临较大的市场竞争压力，为DW建设提供了外部驱动力；
3. 该行业为数据密集型产业。

1.2 数据仓库基本概念

        数据仓库是一个面向主题的、集成的、随时间变化的、信息相对稳定的数据集合，它用于对企业管理和决策提供支持。

1.2.1 面向主题

        指用户使用数据仓库进行决策时所关心的重点方向，例如原材料、成品、WIP、Hold、废品、良品等；所谓面向主题，指数据仓库内的信息是按主题进行组织的，而非业务支撑系统那样按业务功能进行组织。

注：分析和明确企业所涵盖的业务范围，并对企业业务进行高度概括性描述，把密切线管业务对象进行归类，没有同一标准，主要根据设计者的经验，不同行业会有不同主题域划分。

1.2.2 集成

        指数据仓库中的信息不是从各个业务系统见但抽取出来的，二十经过一起列加工、整理和汇总的过程，消除源数据中的不一致型，因此数据仓库中的信息是关于整个企业的一致性全局信息。

注：各个业务系统可能由不同厂家独立创建，他们之间的数据模型设计、编码规则都是不相同的，这些数据加载到数据仓库之后，需要进行一个加工转换的过程。

1.2.3 随时间变化

        指数据仓库内的