从数据库到数据仓库

原创 2004年07月06日 01:05:00
现在社会上的一切信息在计算记中均存为二进制的数据,计算机只是个存放数据的地方,它不懂的这些0和1代表什么意思,人们也看不懂。所以这些数据需要人们来处理,将它们变为人们可以理解的信息。现在对数据的处理可以分为两种:操作型处理和分析型处理。操作型处理主要是指联机事务处理(OLTP),也就是普通的日常操作,比如ATM机的取款、查余额,飞机订票等。分析型处理主要是联机分析处理(OLAP),主要用来分析数据,做决策之用。比如银行对顾客信用的评估等。
1.1 从数据库到数据仓库
数据库主要用于OLTP,目前兴起的DSS需要分析型的处理。OLTP数据库不能很好的支持DSS。OLTP数据库不适于DSS的原因:
      1、事务处理和分析型处理的性能特性不同。事务处理环境中用户行为的特点是数据的存取操作频率高而每次操作处理的时间短。在分析处理环境中,用户的行为模式完全不同。某个DSS的应用可能一连运行几个小时,在这一段时间里需要消耗大量的系统资源。所以他们的资源消耗的曲线是完全不同的,在一个数据库中不能共存。
      2、数据集成问题。分析和决策的首要前提是有效的数据。现实中事务处理系统的应用可能比较分散,数据不一致,还有蜘蛛网问题,外部数据和非结构化数据的存在。所以需要将现有的数据集成在一
起(数据仓库中),便于分析利用。
      3、数据的动态集成。数据的集成不是一次就完成的,它需要周期性的从其他多种数据源抽取数据,在数据仓库中进行数据的刷新。
      4、历史数据。OLTP中的数据一般只存放一段时间的。大量以前的历史数据存放在数据仓库中,便于进行某些分析和决策。
      5、数据综合问题。数据库中的数据是细节型的,而DSS需要分析大量的数据可能效率很低,所以
可以将数据进行综合,比如统计出一个月的汇总信息,这些也是存放在数据仓库中比较好。
      由于以上原因,所以事务处理型与分析处理分离,他们依靠的数据也分离,于是数据仓库也就从数据库中
独立出来,变成了与数据库性质完全不同的事物。

生产系统数据实时同步到rds数据仓库的一个样例

1、环境说明 生产系统数据库是阿里云mysql型rds数据库,目标数据仓库也是阿里云mysql型rds数据库。 由于数据高效抽取的需要,生产系统表字段timeline定义为记录新增或更新的时间戳,...
  • BabyFish13
  • BabyFish13
  • 2016年04月14日 20:23
  • 2571

数据仓库建模_抽取技巧于心得

 源系统提供增量:方案普遍要求:源表主键1.ORACLE技术:Mv 物化视图,如果提供增量,对源表有存在主键的要求。2.ORACLE技术:Cdc,提供改动记录,可提供增删改类型。3.源系统 提供 主键...
  • yuewumian
  • yuewumian
  • 2011年05月04日 22:27
  • 1073

Mesa - 谷歌近实时分析型数据仓库

Mesa并不是一个从底层开始重新构建的系统,它依托Colossus提供分布式数据存储服务,依托Bigtable做元数据存储。使用MapReduce进行批量数据处理工作。之所以能实现它所声称的这些底层系...
  • colorant
  • colorant
  • 2016年03月03日 14:25
  • 5908

数据挖掘的基本概念:数据库、数据仓库、机器学习,统计学

“数据挖掘“(Data Mining)又被称为“数据中的知识发现”(KDD),顾名思义,也就是通过数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示等一些列步骤,对数据进行分类、聚类...
  • moxigandashu
  • moxigandashu
  • 2016年09月24日 20:01
  • 1282

简要总结 数据仓库VS数据库

本文简要总结以下两个问题,旨在快速理解“数据仓库” 1、什么是“数据仓库”? 2、“数据仓库”与“数据库”的区别? 下面做详细阐述: 1、什么是“数据仓库”? “一个数据仓库通常是一个面...
  • wl101yjx
  • wl101yjx
  • 2014年06月15日 18:51
  • 1961

浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系

文章背景:相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧。本文主要从下面两类关系来叙述上面三者的关系: 数据库(D...
  • wuya814070935
  • wuya814070935
  • 2017年04月13日 11:50
  • 3000

数据仓库和传统数据库的关系

数据仓库
  • lisi1129
  • lisi1129
  • 2017年02月07日 13:14
  • 643

实时情况下将事务系统中的增量数据加载到数据仓库的技术和优缺点

  对于数据仓库设计来说,在实时情况下加载事务系统中的增量变化数据是最困难的。为了有效捕捉增量数据变化,对已有数据文件的扫描成为必须面对的问题。因此,必须设法减少数据的扫描数量。目前有五种技术可以用于...
  • newhappy2008
  • newhappy2008
  • 2006年11月18日 21:02
  • 1355

微软BI SSAS渐悟之构建数据仓库五步法

 一、确定主题 即确定数据分析或前端展现的主题。(以汽车行业的KPI管理分析系统为例) 例如:我们希望分析某年某月某区域某门店销售情况,这就是一个主题。 主题要体现出某一方面的各分析角度(...
  • aydh696
  • aydh696
  • 2017年11月10日 14:14
  • 192

数据仓库数据挖掘——商业智能概述

商业智能这一概念最早是
  • Sun7_She
  • Sun7_She
  • 2014年10月19日 15:12
  • 1074
收藏助手
不良信息举报
您举报文章:从数据库到数据仓库
举报原因:
原因补充:

(最多只允许输入30个字)