mysql设计数据集市_数据集市.ppt

数据集市

1、 数据仓库技术的产生 数据仓库(Data Warehouse)技术完全是在决策需求的驱动下产生与发展起来的。 操作型数据库无法满足决策支持系统对数据库系统的要求 专为决策服务的数据库系统称为数据仓库(Data Warehouse，简称DW)。 决策支持系统对数据库系统的要求： 详细数据与总结数据(summary data) 当前数据与历史数据 数据源的异构性和分布性 即时更新与按需更新 联机事务处理OLTP与联机分析处理OLAP 2、 数据仓库概念 以1992年W.H.Inmon出版《Building the Data Warehouse》为标志，数据仓库速度发展起来，Inmon也被誉为 “数据仓库之父”。 W.H.Inmon对数据仓库的定义是：“数据仓库是支持决策过程的、面向主题的、集成的、随时间变化的、持久的数据集合。 2、 数据仓库概念--- 数据仓库的特征 面向主题 集成 3 数据仓库中的数据组织 3.1 数据的粒度 3.2 数据仓库的数据组织结构 3.3 数据的分割 3.4 数据仓库的数据组织形式 3.5 数据仓库的数据组织模式 3.6 数据的追加 3.1 粒度 粒度——是指数据仓库的数据单位中保存数据的细化或总合程度的级别。 细化程度越高，粒度级就越小；细化程度越低，粒度级就越大。 粒度——细节的级别 粒度的划分决定了数据仓库中数据量的大小和查询的详细程度。 多重粒度 粒度(granularity)——细节的级别 粒度的一个例子 3.2 数据仓库的数据组织结构 元数据(Metadata) 元数据——关于数据的数据，它描述了数据的结构、内容、码、索引等。 数据仓库中元数据必须包含的内容 数据仓库的主题描述： 主题名、主体的公共码键、有关描述信息等 外部数据和非结构化数据的描述： 外部数据源名、存储地点、存储内容简述 记录系统定义： 主题名、属性名、数据源系统、源表名、源属性名 逻辑模型的定义： 关系名、属性1、属性2……属性n 数据进入数据仓库的转换规则 数据的抽取历史 粒度的定义 数据分割的定义 广义索引：广义索引名，属性1、属性2……属性n 有关存储路径和结构的描述 3.3 分割 分割——将当前细节数据分散到各自的物理单元中去以便能分别独立处理，以提高数据处理效率。 分片——数据分割后的独立单元。 数据的分割 提高了数据管理的灵活性重构、索引、重组、恢复、监控 分割的标准：日期、地域、业务领域。 数据的分割 分割的一个例子 3.4 数据仓库的数据组织形式 简单堆积数据 轮转综合数据 简化直接数据 连续数据 简单堆积文件 轮转综合文件 简化直接文件 连续文件 3.5 数据仓库的数据组织模式 星型模式(star schema) 雪花模式(snowflake schema) 混合模式 星型模式 雪花模式 3.6 数据追加 时标方法 对新插入或更新的数据记录，加入更新时的时标，扫描整个数据库。 DELTA文件 由应用生成的,记录了应用所改变的所有内容。DELTA文件的应用并不普遍。 前后映象文件对比 占用大量资源。 日志文件 是DB的固有机制，不会影响到OLTP的性能。数据冗余。 4、数据集市 数据集市(Data Mart)——具有特定应用的数据仓库，主要针对某个具有战略意义的应用或者具体部门级的应用，支持用户利用已有的数据获得重要的竞争优势或者找到进入新市场的具体解决方案。 4、数据集市 独立的数据集市(Independent Data Mart)，数据直接来源于数据源。 从属的数据集市(Dependeant Data Mart)，数据来源于中央的数据仓库。 两种数据集市 5、数据仓库的应用 1、系统设计的差异 2、设计分析方法------SDLC与CLDS SDLC——操作型环境中，业务过程和规则比较规范和固定。系统设计人员能够清晰地了解应用的需求和数据流程，系统的设计一般采取系统生命周期法 (Systems Development Life Cycle) 。 CLDS——分析型环境中，DSS分析对决策分析的需求不能预先作出规范说明，只能给设计人员一个抽象模糊的描述。设计人员必须在与用户不断的交流中，将系统需求逐步明确与完善。为了强调这种开发的不确定型，将此设计方法定名为CLDS方法(与SDLC相反)。 “数据驱动”的系统设计思路 识别出当前系统设计与已做工作的共同性； ——出发点 从已有数据库系统出发，按照分析领域对数据及数据之间的联系重新考察，组织数据仓库中的主题； 利用数据模型有效识别原有数据库中的数据和数据仓库中主题的数据的共同性。 ——