从数据库到数据仓库

原创 2004年07月06日 01:05:00
现在社会上的一切信息在计算记中均存为二进制的数据,计算机只是个存放数据的地方,它不懂的这些0和1代表什么意思,人们也看不懂。所以这些数据需要人们来处理,将它们变为人们可以理解的信息。现在对数据的处理可以分为两种:操作型处理和分析型处理。操作型处理主要是指联机事务处理(OLTP),也就是普通的日常操作,比如ATM机的取款、查余额,飞机订票等。分析型处理主要是联机分析处理(OLAP),主要用来分析数据,做决策之用。比如银行对顾客信用的评估等。
1.1 从数据库到数据仓库
数据库主要用于OLTP,目前兴起的DSS需要分析型的处理。OLTP数据库不能很好的支持DSS。OLTP数据库不适于DSS的原因:
      1、事务处理和分析型处理的性能特性不同。事务处理环境中用户行为的特点是数据的存取操作频率高而每次操作处理的时间短。在分析处理环境中,用户的行为模式完全不同。某个DSS的应用可能一连运行几个小时,在这一段时间里需要消耗大量的系统资源。所以他们的资源消耗的曲线是完全不同的,在一个数据库中不能共存。
      2、数据集成问题。分析和决策的首要前提是有效的数据。现实中事务处理系统的应用可能比较分散,数据不一致,还有蜘蛛网问题,外部数据和非结构化数据的存在。所以需要将现有的数据集成在一
起(数据仓库中),便于分析利用。
      3、数据的动态集成。数据的集成不是一次就完成的,它需要周期性的从其他多种数据源抽取数据,在数据仓库中进行数据的刷新。
      4、历史数据。OLTP中的数据一般只存放一段时间的。大量以前的历史数据存放在数据仓库中,便于进行某些分析和决策。
      5、数据综合问题。数据库中的数据是细节型的,而DSS需要分析大量的数据可能效率很低,所以
可以将数据进行综合,比如统计出一个月的汇总信息,这些也是存放在数据仓库中比较好。
      由于以上原因,所以事务处理型与分析处理分离,他们依靠的数据也分离,于是数据仓库也就从数据库中
独立出来,变成了与数据库性质完全不同的事物。

生产系统数据实时同步到rds数据仓库的一个样例

1、环境说明 生产系统数据库是阿里云mysql型rds数据库,目标数据仓库也是阿里云mysql型rds数据库。 由于数据高效抽取的需要,生产系统表字段timeline定义为记录新增或更新的时间戳,...
  • BabyFish13
  • BabyFish13
  • 2016年04月14日 20:23
  • 2345

基于Hadoop的数据仓库Hive 学习指南

【版权声明:本指南为厦门大学林子雨开设的《大数据技术原理与应用》课程新增配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】 本指南介绍了Hive,并详细指引读者安装Hive。 前面第几章学习...
  • achuo
  • achuo
  • 2016年05月12日 19:43
  • 5034

数据仓库和数据集市的区别

数据仓库与数据集市 看了很多数据仓库方面的资料,都涉及到了“数据集市”这一说法,刚开始对数据仓库和数据集市的区别也理解得比较肤浅,现在做个深入的归纳和总结,主要从如下几个方面进行阐述: (1)...
  • map_lixiupeng
  • map_lixiupeng
  • 2014年11月15日 00:16
  • 53138

数据库与数据仓库的区别

  • 2013年07月11日 14:31
  • 31KB
  • 下载

数据库与数据仓库类

  • 2012年10月22日 20:10
  • 5.55MB
  • 下载

使用面向数据仓库的基本数据库功能

  • 2009年09月17日 22:51
  • 1.28MB
  • 下载

NET写的一个数据仓库表格和一个数据库表表格源代码.

  • 2008年11月12日 06:19
  • 1MB
  • 下载

i-数据库与数据仓库类图书、程序员2005合订本.pdf

  • 2007年04月24日 09:10
  • 1.81MB
  • 下载

人大数据库博士必读论文之数据仓库

  • 2010年08月01日 13:05
  • 1.63MB
  • 下载

数据库范式 & 数据仓库设计架构Kimball Inmon 杂记

Inmon Kimball 建模 范式
  • rav009
  • rav009
  • 2016年04月21日 12:10
  • 964
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:从数据库到数据仓库
举报原因:
原因补充:

(最多只允许输入30个字)