版权声明:
该系列文章(DW2.0下一代数据仓库架构)内容系作者学习用笔记,
欢迎共同学习,所载内容版权归原书作(译)者所有,请勿转载商用。
对于DW2.0架构而言,面临一个最大的挑战是处于一个所采用的技术可以跟业务同样快速变化的环境中。当商业环境发生变化时,就会
需要新的类型的信息,而且由于竞争、科技和经济潮流的改变,对于信息就会不断有新的需求。如果一个数据仓库是建立在难以改变的技术
之上,那么企业的这种技术就无法适应商业环境。这意味着,虽然对企业来说,技术同数据仓库本身一样重要,但就其价值而言往往不是最
佳的。在第一代数据仓库中采用了传统的信息处理技术来存储技术。因此数据仓库就是铁板一块,对于数据仓库很难做出很大的改变。DW2.0
认识到并且对上述问题做出相应的处理。业务需求是永远在发生变化,不同组织间的唯一区别在于改变的速度和范围。
技术基础设施
技术基础设施位于业务之上,支撑业务的完成。因此当业务需求改变时,往往会出现问题。因为当对技术基础设施的 改变需要很大努力
所以业务总是先于用来支持他的技术出现。保持固定的技术基础设施有很多充分理由。其核心是流行与系统厂商间的一个概念:当一项技术
被定义之后,这个定义就是固定的。这个基本的观念在很多情况下都会出现:
1、对DBMS厂商,在一个项目开始定义数据结构的时候
2、对于编译者,他们认为,一旦指定的处理过程和算法,他们将会按照这样的方法长期做下去。
3、BI厂商,他们认为一旦一个查询被执行,那么以后就以相同的查询做相同的处理
4、管理者认为,当他们作租约的或者长期的承诺时,问题会得以解决并且不会演变成其他问题
快速的业务改变
当业务改变速度比IT响应速度快时,发现一个改变,IT部门开始设计、计划并建立响应。完成之前,另一批业务需求出现,这些新的
业务需求有他们自己的生命周期,不同的另一组人开始处理这个新需求。当两组人员必须处理和改变相同的数据和过程时,事情就变的比较
麻烦。同样,如果出现第三批、第四批新的需求,事情会更加复杂化。企业经常发现自己身陷一个恶性循环中。业务改变快于IT部门对改变
的响应从而产生了新的改变了的业务需求,而这又产生一个永无止境的循环。这种循环所带来的长远影响是IT部门认为并没有对公司业务
做出及时响应,业务和IT技术好像在两个方向上前进。打破这种循环有几种方案:
1、冻结业务需求:不幸的是,冻结业务需求等同于一出现问题就把头埋入沙滩,不敢面对现实
2、增加IT资源:在混乱中投入更多的IT然预案是昂贵的并且通常是无效的
3、缩短IT响应时间:缩短IT对新改变的业务需求的响应时间通常是唯一的选择。
语义暂态、语义常态数据
缩短IT对技术基础设施的响应时间,以便使其适应不断进行的业务的改变最有效地方法之一是分离语义暂态数据和语义常态数据。
语义暂态数据是指那些可呢要发生语义改变的数据。例如组织结构图。语义常态数据是语义稳定的数据。例如基本的销售信息:销售
日期、销售总量、销售项目和向谁出售等。这些基本数据是必要的,并且在电脑出现前很久人们就对他感兴趣。
混合语义稳定和不稳定数据
如果自由混合语义常态数据和语义暂态数据,每次业务需求改变时,技术基础结构变得很混乱。支持它的技术基础设施必须随之改变。
语义常态数据和语义暂态数据是用于支持的技术基础设施中的常见组成部分,因此也必须适应不断改变的业务需求。所以把语义常态数据和
语义暂态数据混合在一起是自找麻烦。
分离语义稳定和不稳定的数据
语义常态数据和语义暂态数据的分离,缓解了通常情况下不断改变的业务需求所带来的破坏。语义常态数据受到业务需求的改变的影响
不大或者是根本不受影响。语义稳定的数据在任何业务需求下再定义和性质上都是语义稳定的。而当语义暂态数据需要改变时,只是创建了
一个新的语义快照。创建一个新的语义快照比打开一个数据库来转换或者改变他所包含的数据要容易的多。因此当业务改变时,只是产生了
语义暂态数据的一个快照。随着时间的推移,产生了一系列的快照。每个快照都是按照时间分隔的,每一个快照有起始日期和终止日期。
为了确定哪些是恰当的语义定义,查询必须有时间限定,这对人一个查询都是很自然的。
历史记录
这种管理语义暂态数据改变的方法有一个附带的好处,就是创建了语义暂态数据的历史记录。这些语义数据历史存在价值。
当语义常态数据和语义暂态数据分离,并且这些数据形式成为技术基础设施的基础时,企业能够轻松地抵挡随时间而来的数据改变。
这样就减轻了由业务改变而引起的系统动荡。
数据划分
下一个合乎逻辑的问题是如何划分数据。答案是语义常态和语义暂态数据在今后的所有数据库设计中都应该物理地分离。如果不行,
还有一些技术来管理上述DW2.0基础设施。如:Kalido。
总结:
DW2.0的技术基础设施需要能够改变。当技术基础设施不可改变时,不久以后企业的业务需求就无法在数据仓库中反映出来。此外,向
数据仓库添加的新需求所需的时间越长,数据仓库适应业务改变的问题就变得越大越困难。
当数据仓库创建一个可随时间改变的技术基础有两种方法。1、分离语义常态数据和语义暂态数据,可减轻改变产生的影响;2、Kalido等技术。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26613085/viewspace-1318839/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/26613085/viewspace-1318839/