数据仓库解决什么问题
前言
在准备学习一项新的技术时,我觉得首先应该先整理清楚:
- 这项技术是干什么用的?
- 解决什么问题?
- 在什么场景下去使用?
- 给谁用的?
- 为什么要用它?
其核心其实都是一个问题,这项技术或者产品它的定位是什么?
做数据仓库这块也有一两年了,回想起来,刚开始确实想法也是挺简单的:工作要用,学起来用就得了,管那么多干嘛!
现在想来觉得确实需要回到起点,抱着这一个问题,从《Building the Data Warehouse Fourth Edition》 这本书中寻找一下答案,William H. Inmon 凭借这本书获得“数据仓库之父”的殊荣。
问题
面对当今竞争日趋激烈与瞬息万变的市场,各级管理人员迫切需要根据企业的现状和历史数据做出判断和决策。
因此,各级管理人员希望能够从企业信息系统中获取有效的、一致的决策支持信息,及时准确地把握市场变化的脉博,做出正确有效的判断和抉择。
也就是说,数据处理的重点应该从传统的业务处理扩展到在线分析处理,并从中得到面向各种主题的统计信息和决策支持信息。
随着企业事务处理系统的运行和建立,数据量越来越大,企业数据源越来越多。这种需求就比以往任何时候都更加迫切,也更加难于实现。
数据仓库技术就是针对上述问题而产生的一种技术解决方案,它是基于大规模数据库的决策支持系统环境的核心。
操作型数据库和信息型数据库
早期的大多数数据库系统主要集中于操作型的日常事务处理。
近年来,出现了一种更高级的数据库观念,即一种数据库服务于操作型需求,而另一种数据库服务于信息型或分析型需求。
将操作型数据库和信息型数据库分离开,是出于以下原因:
- 服务于操作型需求的数据在物理上不同于服务于信息型或分析型需求的数据。
- 支持操作型处理的技术从根本上不同于支持信息型或分析型需求的技术。
- 操作型数据的用户群体不同于信息型或分析型数据所支持的用户群体。
- 操作型环境的处理特点与信息型环境的处理特点从根本上是不同的。
由于这些原因(以及很多其他很多原因),当今建立系统的方法是将操作型处理及其数据与信息型或分析型处理及其数据分离开来。
什么是分析型、信息型处理?
- 这种处理服务于决策支持过程中的管理需求,一般称为 DSS(Decision Support System 决策支持系统) 处理,要在大量的数据中分析处理探索趋势。
操作型处理 VS 分析型处理:
- 访问数据量:不同于只查找 1~2 条数据记录(如操作型处理),当 DSS 分析人员进行分析型处理时,需要访问大量的数据记录。
- 数据修改频率:DSS 分析人员很少修改数据。而在操作型系统中,数据在个体记录层次上经常修改。在分析型处理中,需要经常访问记录,收集来的记录内容用于分析的需要,但很少或不需要对单个的记录进行更改。
- 响应时间:相对于传统的操作型处理,在分析型处理中,响应时间的要求大大放宽。分析型处理的响应时间可以是30分钟到24小时。这样的响应时间标准对于操作型处理而言是一个巨大的灾难。
- 用户规模:服务于分析型用户群体的网络比服务于操作型用户群体的网络的规模要小得多。通常情况下,分析型网络的用户比操作型网络的用户少很多。
- 技术需求:与应用于分析型环境的技术不同,操作型环境中的技术必须将技术本身与数据和事务锁定、数据争用、死锁等因素结合起来考虑。
这样,在操作型环境和分析型环境之间存在许多重大的区别。
数据仓库的作用
由于有了数据仓库,获取信息的代价在急剧降低。
对于混乱的遗留系统环境,管理人员最终有了一种可行的解决方案。
企业第一次拥有了可用的企业范围内的历史数据“存储方式”。整个企业的数据集成真正成为可能,这在多数情况下还是第一次。
许多企业正在学习如何从数据获取信息,以获得竞争优势。简而言之,数据仓库技术极大地冲破了技术的束缚。
或许数据仓库最吸引人的东西是数据仓库构成了许多其他各种形式处理的基础。可以改造和重复使用数据仓库中的各种粒度的数据。如果存在一个关于数据仓库永恒而深刻的真理,那就是:数据仓库为许多其他形式的信息处理提供了理想的基础。
这个基础如此重要,有许多原因,比如:
- 真理只有单个版本。
- 如果需要,可以重新调整数据。
- 可以为新的、未知的应用随时提供数据。
最后,数据仓库技术降低了企业获取信息的代价。有了数据仓库,获取数据将不再昂贵,数据访问也将更加快捷。
数据仓库的用户
数据仓库的用户也称为 DSS 分析员,他首先是个商务人员,其次才是技术人员。
DSS 分析员的主要工作是定义和发现在企业决策中使用的信息。
了解 DSS 分析员的想法及他们对数据仓库使用的理解是很重要的。
DSS 分析员有一种想法即“给我看一下我想要的东西,然后我才能告诉你我真正想要什么。”换句话说, DSS 分析员在发现模式下工作。只有在看到报表屏幕上的数据时,他们才开始探讨是否有必要进行 DSS 分析。DSS 分析员常说:“哈,现在我知道了什么是可行的,我能告诉你,我真正想要什么东西了。但如果我不知道这些,我根本无法明确地告诉你我要什么。”
小结
企业的经营决策不是由企业管理人员拍脑袋决定的,一般都要基于企业自身的经营状况、外部市场环境、竞争对象等因素综合评估,再制定相应的战略、计划等经营决策的;也就是说企业的经营决策是需要很多的数据来支撑的。
现在我们再来回顾一下之前的问题:
数据仓库有什么用?
- 数据仓库技术降低了企业获取信息的代价。
- 数据仓库为许多其他形式的信息处理提供了理想的基础。
数据仓库解决什么问题?
- 企业管理人员迫切需要根据企业的现状和历史数据做出判断和决策。
- 各级管理人员希望能够从企业信息系统中获取有效的、一致的决策支持信息,及时准确地把握市场变化的脉博,做出正确有效的判断和抉择。
- 数据处理的重点扩展到在线分析处理,并从中得到面向各种主题的统计信息和决策支持信息。
- 数据仓库技术就是针对上述问题而产生的一种技术解决方案,它是基于大规模数据库的决策支持系统环境的核心。
数据仓库在什么场景下去使用?
- 在分析型、信息型环境下 进行 信息型或分析型处理;
- 信息型或分析型处理 :服务于决策支持过程中的管理需求,也称 DSS(Decision Support System 决策支持系统) 处理,要在大量的数据中分析处理探索趋势。
数据仓库给谁用?
- DSS 分析人员,主要工作是定义和发现在企业决策中使用的信息。
为什么要用它(数据仓库)?
- 对于混乱的遗留系统环境,管理人员最终有了一种可行的解决方案。
- 企业第一次拥有了可用的企业范围内的历史数据“存储方式”。整个企业的数据集成真正成为可能,这在多数情况下还是第一次。
- 许多企业正在学习如何从数据获取信息,以获得竞争优势。简而言之,数据仓库技术极大地冲破了技术的束缚。
公众号
参考
《Building the Data Warehouse Fourth Edition》 《数据仓库 第四版》 William H. Inmon