什么是数据仓库的四大特征

最新推荐文章于 2022-02-10 22:49:22 发布
最新推荐文章于 2022-02-10 22:49:22 发布
阅读量1.2k 收藏
点赞数
分类专栏： 面试题 文章标签： big data spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/121437116
版权
  1. 面向于主题：主题指的分析的内容，要分析什么，什么就是主题
  2. 非易时性：存储在数据仓库中数据都是过去既定发生过的数据，这些数据一般不会发生修改的
  3. 时变形：随着时间的推移，原有的分析的手段可能无法满足未来分析要求，需要调整分析方案，同时随着时间增加，也需要添加最近刚刚过去的相关数据（数据新增操作）
  4. 数据集成性：数据来源于各个数据源，数据类型也是多种多样的，将这些汇总在一起
飞Link
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1、ETL工程师经典面试题.md
02-15
1. 什么是数据准备区？在数据准备区中允许使用的数据结构有哪些？各有什么优缺点？ 2. 简述异构数据源中的数据抽取技术。 3. 数据质量检查的四大类是什么？为每类提供一种实现技术。 4. 简述数据仓库中的表的基本类型，以及为了保证引用完整性该以什么样的顺序对它们进行加载。 5. 在 ETL过程中四个基本的过程分别是什么？ 6. 从 ERP源系统中抽取数据最好的方法是什么？ 7. 简述直接连接数据库和使用 ，ODBC连接数据库进行通讯的优缺点。 8. 什么是代理键？简述代理键替换管道如何工作。 9. 什么叫缓慢维度变化？请分别阐述三大类维度处理方式。 10. 如何实现增量抽取，分别阐述各种增量抽取方式，并且比较各种方式的优劣，及你推荐的做法？ 11. 用过什么 ETL工具，以及该工具简单讲述特点。 12. ETL 工具一般有哪些组成部分，其中数据流中常用的控件有？ 13. 简述你在以前项目中的 ETL架构思想。
数据仓库的概念及特点
12-26
随着人们对大型数据系统研究、管理、维护等方面的深刻识认和不断完善，在总结、丰富、集中多行企业信息的经验之后，为数据仓库给出了更为精确的定义，即“数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合”。<br><br>数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。 <br><br>　　⑴数据的抽取：数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等方面。数据仓库中的数据并不要求与联机事务处理系统保持实时同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。 <br><br>　　⑵存储和管理：数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。 <br><br>　　⑶数据的表现：数据表现实际上相当于数据仓库的门面，其性能主要集中在多维分析、数理统计和数据挖掘方面。而多维分析又是数据仓库的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基于Web前端联机分析界面，而不仅仅是在网上发布数据。 <br><br>　　提到数据仓库，人们难免会想到仅有一字之差的数据库，那么，数据仓库和我们经常提到的数据库有哪些区别呢？为什么要使用数据仓库呢？<br><br>从数据库到数据仓库 <br>　　市场需求是技术发展的源动力。在数据库应用的早期，计算机系统所处理的是从无到有的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、电信的计费系统，它们都属于典型的联机事务处理系统。在当时，一个企业可以简单地通过拥有联机事务处理的计算机系统而获得强大的市场竞争力。记得在80年代末，北京工商银行率先推出了全市个人储蓄通存通兑业务，广大市民便将先前就近存于不同银行的存款一并取出而存入了工商银行。这便是通过联机事务处理系统而获得市场优势的案例。其次，当时单位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此，联机事务处理系统只涉及当前数据，系统积累下的历史业务数据往往被转储到脱机的环境中。此外，在计算机系统应用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个80年代直到90年代初数据库应用的主流。 <br><br>　　然而，应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。同样就拿北京各银行的储蓄业务来说，如今各家都拥有了联网的储蓄系统，再要获得市场竞争的优势，就需要在决策上下功夫，例如在业务密集地区增设自助网点、推出有针对性(如：某类职业圈、某年龄段)的储蓄服务计划。这些决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库——向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。因此，著名的数据仓库专家Ralph Kimball写道：“我们花了20多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。” <br><br>　　事实上，将大量的业务数据应用于分析和统计原本是一个非常简单和自然的想法。但在实际的操作中，人们却发现要获得有用的信息并非想象的那么容易：第一，所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快捷；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全；第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设；第三，业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。于是，有人感叹：20年前查询不到数据是因为数据太少了，而今天查询不到数据是因为数据太多了。针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。如果需要给数据仓库一个定义的话，那么可以把它看作一个作为决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库所要研究和解决的问题就是从数据库中获取信息。 <br><br>　　那么数据仓库与数据库(主要指关系数据库)又是什么关系呢？回想当初, 人们固守封闭式系统是出于对事务处理的偏爱, 人们选择关系数据库是为了方便地获得信息。我们只要翻开 C.J. Date博士的经典之作《An Introduction to Database Systems》便会发现：今天数据仓库所要提供的正是当年关系数据库要所倡导的。然而，“成也萧何,败也萧何”，由于关系数据库系统在联机事务处理应用中获得的巨大成功，使得人们已不知不觉将它划归为事务处理的范畴；过多地关注于事务处理能力的提高，使得关系数据库在面对联机分析应用时又显得“老革命遇到新问题”——今天的数据仓库对关系数据库的联机分析能力提出了更高的要求，采用普通关系型数据库作为数据仓库在功能和性能上都是不够的，它们必须有专门的改进。因此，数据仓库与数据库的区别不仅仅是应用的方法和目的上的，同时也涉及产品和配置。 <br><br>　　以辩证的眼光来看，数据仓库的兴起实际上是数据管理的一种回归，是螺旋式的上升。今天的数据库就好比当年的层次数据库和网型数据库，它们面向事务处理；今天的数据仓库就好比是当年的关系数据库，它针对联机分析。所不同的是，今天的数据仓库不必再为联机事务处理的特性而奔忙，由于技术的专业化，它可更专心于联机分析领域的发展和探索。 <br><br>　　从厂商的角度看，经过长期发展，联机事务处理系统的市场至90年代中期出现饱和迹象，其增长速度明显减慢。这导致各大数据库厂商的传统业务增长面临严峻挑战，寻求新的业务增长点成为他们的当务之急。数据仓库的兴起无疑为数据库产品创造了巨大的市场，它成为20世纪末到21世纪初数据库市场的一个新的增长点。因此，数据仓库这个词儿打一开始便伴随着轰轰烈烈的市场炒作。对于广大用户来说，只有从自身应用需求出发，破除技术和概念的神秘性，奉行“拿来主义”，避虚就实，密切关注技术发展的方向，方可获得满意的产品、解决方案和经济效益。 <br><br>　　总之，数据仓库并非是一个仅仅存储数据的简单信息库，因为这实际上与传统数据库没有两样。数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”。如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。<br>
数仓中指标-标签，维度-度量，自然键-代理键等各名词深度解析
yuan_more的博客
09-09 2425
作为一个数据人，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。有些词虽然只有一字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们之间的关系。 本文首发于公众号【五分钟学大数据】 本文结构如下图所示： 一、数仓中常见概念解析 1. 实体 实体是指依附的主体，就是我们分析的一个对象，比如我们分析商品的销售情况，如华为手机近半年的销售量是多少，那华为手机就是一个实体；我们分析用户的活跃度，用户就是一个实体。当然实体也可以现实中不存在的，比如虚拟
名词解释:数据仓库
cuanji3287的博客
09-17 756
数据仓库（DW），将大量用于事务处理的传统数据库数据进行清理、抽取和转换，并按决策主题的需要进行重新组织。大量组织机构已经发现，在当今这个充满竞争和快速发展的世界，数据仓库是一个很有价值的工具。数据仓库系统构造方面的专家W...
什么是数据仓库
开嘴的板栗
03-27 3320
在介绍数据仓库之前，我们先来看一下数据库。 1、什么是数据库 什么是数据库？ 数据库(Database)是按照数据结构来组织、存储和管理数据的，建立在计算机存储设备上的仓库。 数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。 那么，什么是数据仓库呢？ 2、什么是数据仓库？ 数据仓库：数据仓库是面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于
数据仓库的4大特征
weixin_30808253的博客
03-12 1108
1．主题性 数据仓库是一般从用户实际需求出发，将不同平台的数据源按设定主题进行划分整合，与传统的面向事务的操作型数据库不同，具有较高的抽象性。面向主题的数据组织方式，就是在较高层次对分析对象数据的一个完整、统一并一致的描述，能完整及统一地刻画各个分析对象所涉及的有关企业的各项数据，以及数据之间的联系。 2．集成性 数据仓库中存储的数据大部分来源于传统的数据库，但并不是将原有数据简单的直接...
数据仓库系列（一）数据仓库的特点与架构分类--数仓与数据库究竟有什么区别？？
qq_35050438的博客
09-05 2159
文章目录数据仓库理论介绍：一：数据仓库的四大特点：1）：面向主题：提取主题：2）：集成3）：非易失4）：随时间变化二：数据仓库和数据库的区别三：OLTP和OLAP的区别：四：有哪些数据仓库架构？lnmon架构--范式建模：ER建模：Data Vault建模：Data Vault组成：Anchor建模：Anchor模型组成：Kimball架构--维度建模：维度建模数据仓库模型构建过程：选择业务流程声明粒度确认维度确认事实混合型架构：数据仓库的解决方案：数据采集数据存储数据计算数据可视化任务调度 数据仓库理论介
数据仓库的四大特点
ooeeerrtt的博客
02-10 3920
1、面向主题的 与业务系统不同的是，业务系统关注的面向业务过程的事务处理，而数据仓库关注的是面向主题的数据分析。因此的数仓中的数据，是按照不同的主题区分的。 2、集成的 数仓仓库中的数据不是凭空产生的，数据仓库是一个仓库，他不直接产生数据，二是集成各个系统数据，并进行统一化的存储、设计。 3、稳定的 数据仓库的数据一旦进入数据仓库，就不可修改的了，及每次相同条件的查询的结果的一致的。 4、反映历史变化的 也业务系统不同的是，业务系...
数据仓库基本特征
u012955829的博客
12-04 7216
数据仓库 基本概念 数据仓库，简称数仓，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。只有一个存在的必要:分析。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以...
数据仓库的四个特点
qq275860560的专栏
04-24 6700
相对操作型数据库来说，数据库有以下四个特点 面向主题 集成性 相对稳定性 反映历史变化
数据仓库定义及特点
热门推荐
Murphyt的专栏
04-26 1万+
数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Ma
仓库管理系统课程设计报告(1).doc
05-30
仓库管理系统的根本构造可以概括为四大部件，即信息源、信息处理器、信息用户和 信息管理者。因此，一个成功的管理信息系统应该具有可靠的硬件、实用的软件、强有 力的现代化管理水平。具体讲，管理信息系统的三大...
sas数据分析系统教程
05-10
SAS对分布处理模式的支持及其数据仓库设计。 SAS系统主要完成以数据为中心的四大任务：数据访问；数据管理(sas 的数据管理功能并不很出色，而是数据分析能力强大所以常常用微软的产品管理数据，再导成sas数据格式．...
仓库管理系统课程设计(2).doc
05-30
仓库管理系统的基本结构可以概括为四大部件，即信息源、信息处理器、信息用户和 信息管理者。因此，一个成功的管理信息系统应该具有可靠的硬件、实用的软件、强有 力的现代化管理水平。具体讲，管理信息系统的三大...
仓库管理系统——《课程设计》.doc
05-30
仓库管理系统的基本结构可以概括为四大部件，即信息源、信息处理器、信息用户和 信息管理者.因此，一个成功的管理信息系统应该具有可靠的硬件、实用的软件、强有力 的现代化管理水平。具体讲，管理信息系统的三大...
仓库管理系统（附完整说明书）
06-25
系统与数据库管理系统结合，提供了功能较为强大的数据安全功能；系统界面友好，操作简单，易掌握。最后，该系统是典型的管理信息系统，其设计开发过程具有通用性，对类似工作的开展具有借鉴意义。 其功能主要分为...
基于SpringBoot+Vue实现的资产出入库管理系统仓库管理系统源码+数据库+项目文档，Java毕业设计
04-21
资产类型维护、资产入库、资产领用出库、资产出库审核这四大核心业务，适用于中小企业管理行政办公资产。系统给每个资产档案提供一个唯一标识，对物品入库、出库等各个作业环节进行快速批量的数据采集，确保中小企业...
基于Python+Pyqt5的进销存管理系统源码
05-13
本医药管理系统根据逻辑结构，划分为四大功能主页面，分别为：首页、销售管理、仓库管理、采购管理，同时还有多个详单页面，每个页面都可以对数据进行访问， 本医药管理系统根据逻辑结构，划分为四大功能主页面，...
很全的ETL学习资料
12-26
什么是ETL.docx 商业智能 通过SSIS设计ETL来将Oracle,DB2,Sybase等数据源的数据定期导入到数据仓库.docx 商务智能(BI)的四大关键技术-ETL(抽取(Extract)、转换(Transform)和加载(Load)).docx 选择合适的ETL工具满足...
数据仓库的基本特征是什么？
最新发布
06-01
数据仓库的基本特征包括以下几个方面： 1. 面向主题：数据仓库是按照某种业务或分析主题来组织数据，而不是按照应用程序或操作过程来组织数据。这种面向主题的特点使得数据仓库更加适合于企业的决策分析需求。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值