从数据库到数据仓库

原创 2004年07月06日 01:05:00
现在社会上的一切信息在计算记中均存为二进制的数据,计算机只是个存放数据的地方,它不懂的这些0和1代表什么意思,人们也看不懂。所以这些数据需要人们来处理,将它们变为人们可以理解的信息。现在对数据的处理可以分为两种:操作型处理和分析型处理。操作型处理主要是指联机事务处理(OLTP),也就是普通的日常操作,比如ATM机的取款、查余额,飞机订票等。分析型处理主要是联机分析处理(OLAP),主要用来分析数据,做决策之用。比如银行对顾客信用的评估等。
1.1 从数据库到数据仓库
数据库主要用于OLTP,目前兴起的DSS需要分析型的处理。OLTP数据库不能很好的支持DSS。OLTP数据库不适于DSS的原因:
      1、事务处理和分析型处理的性能特性不同。事务处理环境中用户行为的特点是数据的存取操作频率高而每次操作处理的时间短。在分析处理环境中,用户的行为模式完全不同。某个DSS的应用可能一连运行几个小时,在这一段时间里需要消耗大量的系统资源。所以他们的资源消耗的曲线是完全不同的,在一个数据库中不能共存。
      2、数据集成问题。分析和决策的首要前提是有效的数据。现实中事务处理系统的应用可能比较分散,数据不一致,还有蜘蛛网问题,外部数据和非结构化数据的存在。所以需要将现有的数据集成在一
起(数据仓库中),便于分析利用。
      3、数据的动态集成。数据的集成不是一次就完成的,它需要周期性的从其他多种数据源抽取数据,在数据仓库中进行数据的刷新。
      4、历史数据。OLTP中的数据一般只存放一段时间的。大量以前的历史数据存放在数据仓库中,便于进行某些分析和决策。
      5、数据综合问题。数据库中的数据是细节型的,而DSS需要分析大量的数据可能效率很低,所以
可以将数据进行综合,比如统计出一个月的汇总信息,这些也是存放在数据仓库中比较好。
      由于以上原因,所以事务处理型与分析处理分离,他们依靠的数据也分离,于是数据仓库也就从数据库中
独立出来,变成了与数据库性质完全不同的事物。

赵强老师:大数据从入门到精通(8)Hive

本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本全面介绍大数据的整体内容,让学员深入理解并掌握运行机制和原理,从而进一步掌握大数据的相关内容。
  • 2018年04月11日 09:16

kettle抽取——多平台汇总数据仓库

1.多个平台数据汇总到数据仓库,最后的所有表在数据仓库是完备的 2.汇总表的同时每条记录都要记录日志表,日志表有两个,一个为记录成功或失败记录,一个为分配已成功抽取的表进行数据清洗、对比、转换等数据处...
  • qq_35318838
  • qq_35318838
  • 2017-03-27 18:09:53
  • 2458

数据仓库和传统数据库的关系

数据仓库
  • lisi1129
  • lisi1129
  • 2017-02-07 13:14:50
  • 666

从数据库到数据仓库

现在社会上的一切信息在计算记中均存为二进制的数据,计算机只是个存放数据的地方,它不懂的这些0和1代表什么意思,人们也看不懂。所以这些数据需要人们来处理,将它们变为人们可以理解的信息。现在对数据的处理可...
  • yangwl
  • yangwl
  • 2004-07-06 01:05:00
  • 1457

数据库与数据仓库的区别

作者:陈诚 链接:https://www.zhihu.com/question/20623931/answer/139842331 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商...
  • xxfigo
  • xxfigo
  • 2017-03-03 14:41:59
  • 1676

数据库 VS 数据仓库

数据库是面向事务的,数据仓库是面向主题的。数据库一般存储在线交易数据,数据仓库一般存储历史数据。数据库设计是尽量避免冗余,一般采用范式规则设计,数据仓库设计有意引入冗余,采用反范式设计。数据库是为获取...
  • Post_Yuan
  • Post_Yuan
  • 2017-03-14 15:21:01
  • 616

数据仓库

数据仓库之父 Bill Inmon 将数据仓库定义为:“数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合。”经过 10 多年的发展,Inmon 在技术发展及建设经验积累的基础上提出了...
  • leveretz
  • leveretz
  • 2016-11-23 11:45:16
  • 385

<em>数据库</em>系统.<em>数据库</em>与<em>数据仓库</em>导论

扫描完整版带书签<em>数据库</em>系统.<em>数据库</em>与<em>数据仓库</em>导论 <em>数据库</em>系统.<em>数据库</em>与<em>数据仓库</em>导论 综合评分:0 收藏(2)评论举报 所需: 3积分/C币 下载个数: 13 开通VIP ...
  • 2018年04月17日 00:00

SQL Sever 数据仓库的解决方案

1 引言数据仓库的概念一经出现,就首先被用于金融、电信、保险等主要的传统数据处理密集型行业。数据仓库将分布在企业网络中不同信息岛上的业务数据集成到一起,存储在一个单一的集成关系型数据库中,利用这种集成...
  • tracyjsf
  • tracyjsf
  • 2006-09-29 14:53:00
  • 5065

数据库和数据仓库

数据库和数据仓库数据库和数据仓库数据库是事务系统的数据平台,数据库中存储了各项交易的记录。 数据仓库是分析系统的数据平台,从事务系统中获取数据,进行一系列的数据汇总、计算、分析。将分析得到的数据存到数...
  • Super_Anna
  • Super_Anna
  • 2016-07-03 01:00:18
  • 376
收藏助手
不良信息举报
您举报文章:从数据库到数据仓库
举报原因:
原因补充:

(最多只允许输入30个字)