三十六、数据仓库的实现

最新推荐文章于 2024-04-06 14:51:24 发布

智享AI

最新推荐文章于 2024-04-06 14:51:24 发布

阅读量726

点赞数

分类专栏：数据挖掘

本文链接：https://blog.csdn.net/guangzhanblog/article/details/108219661

版权

42 篇文章 22 订阅

订阅专栏

1.1 数据仓库的基本内容
数据仓库包含海量数据。OLAP服务器要在数秒内回答决策支持查询。因此，至关重要的是，数据仓库系统要支持高校的数据立方体技术、存取方法和处理技术。本节，我们主要关注的是数据仓库的有效实现方法。

2.1 compute cube操作与维灾难
多维数据分析的很想是有效地计算许多维集合上的聚集。用SQL的属于，这些聚集称为分组（group-by）。每个分组可以用一个方体表示，而分组的集合形成定义数据立方体的方体的格。

数据立方体是方体格：假设相对ALLElectronics的销售创建一个数据立方体、包含city、item、year、sales_in_dollars。
1. 按city和item分组计算销售总和
2. 按city分组计算销售和。
3. 按item分组计算销售和。

2.2 数据立方体可以被看成是方格体

在这里插入图片描述

2.3 数据立方体的物化

立方体在DMQL中的定义和计算
在这里插入图片描述

3.1 位图索引

3.2 连接索引

如果两个关系R(RID ,A)和S(B,SID )在属性A和B上连接，则连接索引记录包含JI（RID,SID)对，其中RID和SID分别来自R和S的记录标识符。
传统的索引将给定列上的值映射到具有该值的列表上，而连接索引登记来自两个关系数据库的可连接行
在数据仓库中，连接索引把星形模式的维值连接到事实表中的行，事实表和它对应维表的连接属性是事实表的外关键字和维表的主关键字
连接索引可以跨越多维，形成复合连接索引

4.1 典型的数据仓库设计过程

物化方体和构造OLAP索引结构，目的是加快数据立方体中的查询处理。
给定物化的视图，查询处理应按如下步骤进行
确定哪些操作应当在可利用的方体上执行
1. 将查询中的下钻，上卷等转换成对应的SQL 和/或OLAP操作, 例如, 数据立方体上的切片和切块可能对应于物化方体上的选择和/或投影操作
确定相关操作应当使用那些物化的方体
1. 涉及找出可能用于回答查询的所有物化方体，使用方体之间的“支配”联系知识，剪去上集合，估计使用剩余物化方体的代价，并选择代价最低的方体。

从逻辑上讲，OLAP服务器为商户用户体哦那个仓库火数据集市的多维数据，而不必关心数据如何存放和存放在何处。然后OLAP服务器的物理结构和实现必须考虑数据存放问题。用于OLAP处理的数据仓库服务器的实现包括

5.1 OLAP的服务结构的比较

关系OLAP（ROLAP）服务器：这是一种中间服务器，介于关系的后端服务器和客户前端中间。
多维OLAP（MOLAP）服务器：这些服务器通过基于数组的多维存储引擎，支持数据的多维视图。
混合OLAP方法结合ROLAP和MOLAP技术，得益于ROLAP较大的可伸缩性和MOLAP的快速计算。
特殊的SQL服务器：为了满足关系数据库中日益增长的哦OLAP处理的需要，一些数据库系统提供商实现了特殊的SQ服务器，提供高级查询语言和查询处理，在只读环境下，在星形和雪花形模式上支持SQL查询。

5.2 AP的快速计算

特殊的SQL服务器：为了满足关系数据库中日益增长的哦OLAP处理的需要，一些数据库系统提供商实现了特殊的SQ服务器，提供高级查询语言和查询处理，在只读环境下，在星形和雪花形模式上支持SQL查询。

关注

专栏目录