数据仓库的数据存储

原创 2004年07月08日 00:56:00
1、数据存储的方式?  
    数据仓库的数据由两种存储方式:一种是存储在关系数据库中,另一种是按多维的方式存储,也就是多维数组。
2、存储何种数据?
    数据仓库中存在不同的综合级别的数据。一般把数据分成四个级别,早期细节级数据,当前细节级数据,轻度综合级,高度综合级。不同的综合级别一般称为粒度。粒度越大,表示细节程度越低,综合程度越高。级别的划分是根据粒度进行的。
    数据仓库中还有一种是元数据,也就是关于数据的数据。传统数据库中的数据字典或者系统目录都是元数据,在数据仓库中  元数据表现为两种形式:一种是为了从操作型环境向数据仓库环境转换而建立的元数据,它包含了数据源的各种属性以及转换时的各种属性;另一种元数据是用来与多维模型和前端工具建立映射用的。
3、粒度与分割
     粒度是对数据仓库中的数据的综合程度高低的一个衡量。粒度越小,细节程度越高,综合程度越低,回答查询的种类越多;反之粒度越大,细节程度越低,综合程度越高,回答查询的种类越少。
    分割是将数据分散到各自的物理单元中去以便能分别独立处理,以提高数据处理的效率。数据分割后的数据单元成为分片。数据分割的标准可以根据实际情况来确定,通常可选择按日期、地域或者业务领域等进行分割,也可以按照多个标准组合分割。
4、追加时数据的组织方式
    这里说一种比较简单的情况,轮转综合文件。比如:数据存储单位被分为日、周、季度、年等几个级别。每天将数据记录在日记录集中;然后七天的数据被综合存放在周记录集中,每隔一季度周记录集中的数据被存放到季度记录集中,依此类推……这种方法把越早期的记录存放的综合程度越高,也就是粒度越大。

数据仓库的架构以及数据分层

数据仓库分层的原因 1通过数据预处理提高效率,因为预处理,所以会存在冗余数据 2如果不分层而业务系统的业务规则发生变化,就会影响整个数据清洗过程,工作量巨大 3通过分层管理来实现分步完成工作,这样每一...
  • zengxiaosen
  • zengxiaosen
  • 2016年09月25日 17:16
  • 7805

数据仓库EDW层数据整合集成的思考

比尔*门恩(Bill Inmon)给出了数据仓库这样一个定义,数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。今天单就数据仓库的集成整合特性进行思考,我想数据仓库的集...
  • nisjlvhudy
  • nisjlvhudy
  • 2013年01月22日 09:07
  • 4724

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构架的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:...
  • kwu_ganymede
  • kwu_ganymede
  • 2016年05月10日 23:06
  • 10148

数据仓库(DW)与操作型数据存储(ODS)

  • 2008年12月24日 12:41
  • 37KB
  • 下载

数据仓库(DW)与操作型数据存储(ODS)

数据仓库(DW)与操作型数据存储(ODS)  1 概述 系统应用集成中一般对各系统中数据分为两类 操作型数据:它有细节化,分散化的特点 决策型数据:它有综合化,集成化的特点 数据仓库...
  • maoxiao1229
  • maoxiao1229
  • 2012年06月08日 14:07
  • 1283

数据仓库的数据存储和实现(转)

数据仓库的数据存储和实现  转自:http://www.uml.org.cn/sjjm/201206255.asp 当面对大...
  • linhx
  • linhx
  • 2012年07月15日 11:11
  • 628

移动的信息仓库数据存储

  • 2015年04月27日 20:06
  • 13.72MB
  • 下载

数据仓库日期维度表创建存储过程

  • 2017年05月25日 23:40
  • 5KB
  • 下载

浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系

转自:http://blog.csdn.net/wuya814070935/article/details/70156362 版权声明:分享中学习,从菜鸟做起. 目录(?)[+] ...
  • fishermanmax
  • fishermanmax
  • 2017年11月01日 22:49
  • 189

RCFile — 用于 Facebook 数据仓库的高效存储结构

Facebook 公司 在 IEEE International Conference on Data Engineering (ICDE 2010) 会议上介绍了数据仓库 Hive 。 Hive 存...
  • yangdong01
  • yangdong01
  • 2011年05月05日 18:13
  • 453
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:数据仓库的数据存储
举报原因:
原因补充:

(最多只允许输入30个字)