数据仓库【Date Vault 建模】

最新推荐文章于 2022-08-07 11:15:52 发布
最新推荐文章于 2022-08-07 11:15:52 发布
阅读量1.1k 收藏 5
点赞数 1
分类专栏： # 数据仓库 文章标签： 数据仓库 big data 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Luomingkui1109/article/details/109044622
版权

目录

1、Date Vault 基本概念

2、Date Vault 建模实例 

2.1  转换中心表

2.2 转换链接表

2.3 转换附属表

2.4 使用下面的脚本建立Data Vault数据库表：

2.5 Data Vault模型如下图所示

1、Date Vault 基本概念

     Data Vault（DV）模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出（ http://www.danlinstedt.com）。最近几年，Data Vault模型获得了很多关注，并在BI社区里拥有了一批追随者。
    Dan Linstedt将Data Vault模型定义如下：
    Data Vault是面向细节的，可追踪历史的，它是一组有连接关系的规范化的表的集合。这些表可以支持一个或多个业务功能，它是一种综合了第三范式（3NF）和星型模型优点的建模方法。其设计理念是要满足企业对灵活性、可扩展性、一致性和对需求的适应性要求，它是一种专为企业级数据仓库量身定制的建模方式。
    从上面的定义，可以看出Data Vault既是一种数据建模的方法论，又是构建企业数据仓库的一种具体方法。Data Vault模型由三个模块组成，中心表、链接表、附属表。建模方法论里定义了Data Vault的组成部分和组成部分之间的交互方式。Data Vault的建模方法中还包括了最佳实践，来指导构建企业数据仓库。例如，业务规则应该在数据的下游实现，就是说Data Vault只按照业务数据的原样保存数据，不做任何解释、过滤、清洗、转换。即使从不同数据源来的数据是自行矛盾的，Data Vault模型不会遵照任何业务的规则，如“系统A的地址为准”。Data Vault模型会保存两个不同版本的数据，对数据的解释将推迟到整个架构的后一个阶段（数据集市）。
    Data Vault模型是由业务键（Hub）、业务关系（Link）、业务描述（Satellite）组成的。
源数据库模型（3NF）如下图：
星型模型如下图：
Data Vault模型如下图：

说明：
    星型模型（star schema）的事实表采取了完全规范化的第三范式（3NF）模型，而维表采取了第二范式的设计模型。有时也会把维表的设计规范化，就成了所谓的雪花模型（snowflake schema）。
    星型模型向Data Vault模型转化：星型模趔的主要构成部分是维表与事实表，在转化为DataVault模型时自然涉及到维表与事实表的分别转化，使之映射为DataVault模型的Hub、Link、Satellite组件。

2、Date Vault 建模实例 

    本示例源数据库是一个订单销售的普通场景，共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。
    使用下面的脚本建立源数据库表： 
CREATE TABLE province (
  province_id varchar(2) NOT NULL COMMENT '省份编码',
  province_name varchar(20) DEFAULT NULL COMMENT '省份名称',
  PRIMARY KEY (province_id)
) ;
CREATE TABLE product_catagory (
  product_catagory_id varchar(2) NOT NULL COMMENT '产品分类编码',
  product_catagory_name varchar(20) DEFAULT NULL COMMENT '产品分类名称',
  PRIMARY KEY (product_catagory_id)
) ;
CREATE TABLE city (
  city_id varchar(4) NOT NULL COMMENT '城市编码',
  city_name varchar(20) DEFAULT NULL COMMENT '城市编码',
  province_id varchar(2) DEFAULT NULL COMMENT '省份编码',
  PRIMARY KEY (city_id),
  FOREIGN KEY (province_id) REFERENCES province (province_id)
) ;
CREATE TABLE customer (
  customer_id int(11) NOT NULL AUTO_INCREMENT COMMENT '客户ID',
  customer_name varchar(20) DEFAULT NULL COMMENT '客户名称',
  city_id varchar(4) DEFAULT NULL COMMENT '城市ID',
  cust_post_code varchar(6) DEFAULT NULL COMMENT '客户邮编',
  cust_address varchar(50) DEFAULT NULL COMMENT '客户地址',
  ship_post_code varchar(6) DEFAULT NULL COMMENT '送货邮编',
  ship_address varchar(50) DEFAULT NULL COMMENT '送货地址',
  PRIMARY KEY (customer_id),
  FOREIGN KEY (city_id) REFERENCES city (city_id)
) ;
CREATE TABLE product (
  product_id int(11) NOT NULL AUTO_INCREMENT COMMENT '产品ID',
  product_name varchar(20) DEFAULT NULL COMMENT '产品名称',
  unit_price decimal(10,4) DEFAULT NULL COMMENT '产品单价',
  product_catagory_id varchar(2) DEFAULT NULL COMMENT '产品分类编码',
  PRIMARY KEY (product_id),
  FOREIGN KEY (product_catagory_id) REFERENCES product_catagory (product_catagory_id)
) ;
CREATE TABLE sales_order (
  sales_order_id int(11) NOT NULL AUTO_INCREMENT COMMENT '订单ID',
  order_time datetime DEFAULT NULL COMMENT '下单时间',
  entry_time datetime DEFAULT NULL COMMENT '录入时间',
  customer_id int(11) DEFAULT NULL COMMENT '客户ID',
  amount decimal(12,4) DEFAULT NULL COMMENT '订单金额',
  allocate_time datetime DEFAULT NULL COMMENT '分配库房时间',
  packing_time datetime DEFAULT NULL COMMENT '出库时间',
  ship_time datetime DEFAULT NULL COMMENT '配送时间',
  receive_time datetime DEFAULT NULL COMMENT '收货时间',
  PRIMARY KEY (sales_order_id),
  FOREIGN KEY (customer_id) REFERENCES customer (customer_id)
) ;
CREATE TABLE sales_order_item (
  sales_order_item_id int(11) NOT NULL AUTO_INCREMENT COMMENT '订单明细ID',
  sales_order_id int(11) DEFAULT NULL COMMENT '订单ID',
  product_id int(11) DEFAULT NULL COMMENT '产品ID',
  unit_price decimal(10,4) DEFAULT NULL COMMENT '产品单价',
  quantity int(11) DEFAULT NULL COMMENT '数量',
  PRIMARY KEY (sales_order_item_id),
  FOREIGN KEY (sales_order_id) REFERENCES sales_order (sales_order_id),
  FOREIGN KEY (product_id) REFERENCES product (product_id)
) ;
    将示例转换成Data Vault模型。

2.1  转换中心表

（1）确定中心实体
示例中的客户、产品类型、产品、订单、订单明细这5个实体是订单销售业务的中心实体。省、市等地理信息表是参考数据，不能算是中心实体，实际上是附属表。
（2）把第一步确定的中心实体中有入边的实体转换为中心表，因为这些实体被别的实体引用。
把客户、产品类型、产品、订单转换成中心表
（3）把第一步确定的中心实体中没有入边且只有一条出边的实体转换为中心表，因为必须至少有两个Hub才能产生一个有意义的Link。
示例中没有这样的表。
下表列出了所有中心表

2.2 转换链接表

（1）把源库中没有入边且有两条或两条以上出边的实体直接转换成链接表
把订单明细转换成链接表
（2）把源库中除第一步以外的外键关系转换成链接表。
订单和客户之间建立链接表，产品和产品类型之间建立链接表。注意Data Vault模型中的每个关系都是多对多关系。
下表列出了所有链接表

2.3 转换附属表

    附属表为中心表和链接表补充属性。所有源库中用到的表的非键属性都要放到Data Vault模型中。
下表列出了所有附属表

2.4 使用下面的脚本建立Data Vault数据库表：

create table hub_product_catagory (
    hub_product_catagory_id int auto_increment primary key,
    product_catagory_id varchar(2),
    load_dts timestamp,
    record_source varchar(100)
);
create table hub_customer (
    hub_customer_id int auto_increment primary key,
    customer_id int,
    load_dts timestamp,
    record_source varchar(100)
);
create table hub_product (
    hub_product_id int auto_increment primary key,
    product_id int,
    load_dts timestamp,
    record_source varchar(100)
);
create table hub_sales_order (
    hub_sales_order_id int auto_increment primary key,
    sales_order_id int,
    load_dts timestamp,
    record_source varchar(100)
);
create table link_order_product (
    link_order_product_id int auto_increment primary key,
    hub_sales_order_id int,
    hub_product_id int,
    load_dts timestamp,
    record_source varchar(100),
    foreign key (hub_sales_order_id)
        references hub_sales_order (hub_sales_order_id),
    foreign key (hub_product_id)
        references hub_product (hub_product_id)
);
create table link_order_customer (
    link_order_customer_id int auto_increment primary key,
    hub_sales_order_id int,
    hub_customer_id int,
    load_dts timestamp,
    record_source varchar(100),
    foreign key (hub_sales_order_id)
        references hub_sales_order (hub_sales_order_id),
    foreign key (hub_customer_id)
        references hub_customer (hub_customer_id)
);
create table link_product_catagory (
    link_product_catagory_id int auto_increment primary key,
    hub_product_id int,
    hub_product_catagory_id int,
    load_dts timestamp,
    record_source varchar(100),
    foreign key (hub_product_id)
        references hub_product (hub_product_id),
    foreign key (hub_product_catagory_id)
        references hub_product_catagory (hub_product_catagory_id)
);
create table sat_customer (
    sat_customer_id int auto_increment primary key,
    hub_customer_id int,
    load_dts timestamp,
    load_end_dts timestamp,
    record_source varchar(100),
    customer_name varchar(20),
    city_name varchar(20),
    province_name varchar(20),
    cust_post_code varchar(6),
    cust_address varchar(50),
    ship_post_code varchar(6),
    ship_address varchar(50),
    foreign key (hub_customer_id)
        references hub_customer (hub_customer_id)
);
create table sat_product_catagory (
    sat_product_catagory_id int auto_increment primary key,
    hub_product_catagory_id int,
    load_dts timestamp,
    load_end_dts timestamp,
    record_source varchar(100),
    product_catagory_name varchar(20),
    foreign key (hub_product_catagory_id)
        references hub_product_catagory (hub_product_catagory_id)
);
create table sat_product (
    sat_product_id int auto_increment primary key,
    hub_product_id int,
    load_dts timestamp,
    load_end_dts timestamp,
    record_source varchar(100),
    product_name varchar(20),
    unit_price decimal(10 , 4 ),
    foreign key (hub_product_id)
        references hub_product (hub_product_id)
);
create table sat_sales_order (
    sat_sales_order_id int auto_increment primary key,
    hub_sales_order_id int,
    load_dts timestamp,
    load_end_dts timestamp,
    record_source varchar(100),
    order_time datetime,
    entry_time datetime,
    amount decimal(12 , 4 ),
    allocate_time datetime,
    packing_time datetime,
    ship_time datetime,
    receive_time datetime,
    foreign key (hub_sales_order_id)
        references hub_sales_order (hub_sales_order_id)
);
create table sat_order_product (
    sat_order_product_id int auto_increment primary key,
    link_order_product_id int,
    load_dts timestamp,
    load_end_dts timestamp,
    record_source varchar(100),
    unit_price decimal(10 , 4 ),
    quantity int,
    foreign key (link_order_product_id)
        references link_order_product (link_order_product_id)
);

2.5 Data Vault模型如下图所示

程序员学习圈
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数仓建模—建模方法论之Data Vault 建模
2401_84052244的博客
04-20 63
按照Dan Linstedt的定义，Data Vault模型是面向细节的、可追踪历史的、一组有连接关系的规范化的表的集合。它综合了三范式建模和星型模型的优点，其设计理念是满足企业对数据模型灵活性、可扩展性、一致性和对需求的适应性要求，是专门针对企业级数据仓库需要的一套建模方法。Data Vault模型只按照业务数据的原始状态存储数据，不做任何过滤、清洗、转换，比如：同一客户在不同系统有不同地址，Data Vault模型会存储多个不同版本的客户地址数据。
Data Vault初探（十） —— 星型模型向Data Vault模型转化
wzy0623的专栏
12-15 7903
源数据库模型（3NF）如下图： 星型模型如下图： Data Vault模型如下图： 说明： 星型模型（star schema）的事实表采取了完全规范化的第三范式（3NF）模型，而维表采取了第二范式的设计模型。有时也会把维表的设计规范化，就成了所谓的雪花模型（snowflake schema）。 星型模型向Data Vault模型转化： 星型模趔的主要构成部分是维表与事实
数据仓库-Data Vault模型
guofeng_0的博客
01-07 3581
数据仓库-Data Vault模型Data Vault模型简介Data Vault模型的组成部分中心表链接表附属表Data vault模型的特点Data vault模型的构建Data vault模型示例 Data Vault模型简介 一种数据仓库建模方法，用于存储来自多个操作型系统的完整的历史数据。每个数据行都包含数据来源和装载时间属性，用以审计和跟踪数据值所对应的源系统。 Data Vault（DV）模型用于企业级的数据仓库建模，是Dan Linstedt在20世纪90年代提出的。在最近几年，获得很多关注
数仓建模理论--Data Vault建模
qq_43118086的博客
06-03 1677
Data Vault模型构建 在Data Vault模型中，各个实体组件有着严格、通用的定义与准确、灵活的功能描述，这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务规则，同时也为构建Data Vault模型提供了一致而普遍的方法。 Data Vault模型主要用于存储来自多个业务系统的完整的历史数据。它不区分数据在业务层面的准确与否，装载数据也不做验证和清洗，因此，Data Vault模型可用于跟踪所有数据的来源。 Data Vault模型有几个主要的组： ① Hub组件，用于记
数据仓库【事实表，维度，度量，指标之间的关系】
程序员学习圈
10-15 1755
事实表：每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如销售商品所产生的数据，与软件中实际表概念一样。 维度：说明数据，维度是指可指定不同值的对象的描述性属性或特征。例如，地理位置的维度可以包括“纬度”、“经度”或“城市名称”。“城市名称”维度的值可以为“旧金山”、“柏林”或“新加坡”。 指标：衡量数据，指标是指可以按总数或比值衡量的具体维度元素。例如，维度“城市”可以关联指标“人口”，其值为具体城市的居民总数。 度量：事实表和维度交
敏捷数仓模型设计
Datablau国产数据库建模工具
04-09 2618
随着敏捷开发的发展，Devops成为每个组织的事实上的标准-我们能否使数仓开发敏捷起来？让我们研究一下数仓的核心，数据建模（主要是Data Vault模型）。 Data Vault模型是否有助于数仓的健壮性和可扩展性？在讨论这些要点之前，这里有一个快速的背景知识。 Data Vault是一种建模方法，由Hubs（业务键），Links（关系）和Satellite（上下文）构成，基于这种方法设...
Data Vault建模简介
DataVault2.0大数据的未来
12-21 969
Data Vault模型是由Dan Linstedt在20世纪90年代发明的，它面向自然界中经常发现的复杂网络。许多这些自然系统可以用复杂网络的模型来描述，这是由链接或边缘连接的节点或顶点组成的结构。
Data Vault数据库建模指南.pdf
08-23
DATA VAULT建模指南，包含建模理论和实例指导。详细描述data vault建模方法的文档。
vault-ipfs：用于跨IPFS进行数据管理的Vault插件
02-05
从客户端到Vault的TLS安全性，然后对传输中的数据以及IPFS中的静态数据进行加密。 审核跟踪以指示谁尝试使用Vault作为代理来访问IPFS Merkle林数据。 本质上，此插件的灵感来自Vault的本机非对称传输加密功能和...
深入对比数据仓库模式：KimballvsInmon
01-27
Kimball和Inmon是两种主流的数据仓库方法论，分别由RalphKimbal大神和Bill Inmon大神提出，在实际数据仓库建设中，业界往往会相互借鉴使用两种开发模式。本文将详细介绍Kimball 和Inmon理论在实际数据仓库建设中的...
大数据、数据仓库系统体系结构设计书.pdf
06-06
《大数据、数据仓库系统体系结构设计》是一份深入探讨大数据和数据仓库系统构建的专业文档，旨在为读者提供全面的体系结构设计方案。文档的核心内容涵盖了项目背景、业务目标、技术应用范围、实施方法等多个方面，...
学习资料0217-数据仓库学习
02-17
Data Vault模型是一种面向数据仓库的现代存储方法，强调数据的历史性和灵活性，特别适用于快速变化的数据环境。 文件列表中的“学习资料0217”可能包含了这些主题的详细教程、案例研究、最佳实践和可能的实战项目，...
Data Vault初探（三） —— 建立Data Vault模型
wzy0623的专栏
12-08 8814
本示例源数据库是一个订单销售的普通场景，共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。 使用下面的脚本建立源数据库表： CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', province_name varchar(20) DEFAULT NULL COMMENT
数据仓库Data Vault模型详解
limingxin007的博客
06-14 3836
数据库，不管是以什么模型搭建的数据库，ER(entity-relationship Modelling)也好，DM(Dimensional Modelling)也好，或者数据块Cube也好，说白了其实就是无数的表格组成起来的，至于它们如何去进行划分和连接这些表格，这就是不同数据库模型的不同表现，最终体现在性能上的不同。 1. 名词解释 解释一个概念先从它的名字开始介绍 Data Vault: 电子仓库/电子资料室/数据仓库。 我看了国内很多文章和博客，都没有发现这个这个名词的来源，于是我去wiki找到了，D
BI 中的指标、维度、数据仓库、模型如何理解，有什么关联关系？
派可数据的博客
07-03 5012
在商业智能BI中，我们经常会听到指标、指标表、维度、模型、数据仓库、数据等一些名词和概念，那么他们之前到底有什么关系和联系呢？ 什么叫指标？指标就是我们具体要分析的对象，分析的数据，比如销售收入、销售毛利、采购成本、人均产出等数值类型的就是指标。 指标表就是在同一个业务分析主题下的指标的组合，比如像财务分析-利润分析中的营业利润、利润总额、净利润、净利润率等，比如像采购分析-采购到货分析中的订单金额、实际到货金额、逾期到货金额、到货金额比率、逾期到货金额比率等等。通常情况下，他们都具有相同的..
【数仓】数仓建模—指标体系
m0_54252387的博客
08-07 2945
建设指标体系，需要回答以下几个问题为什么建设数据指标体系如何评价数据指标体系，一个好的数据指标体系是要需要回答两个问题，它是不是有助于业务发展，以及说这个指标体系拆解是不是可具备、可落地、可实操的可能性。如何建设数据指标体系，这就需要我们的建设方法论了如何维护和管理指标，指标的维护和管理是有套路的，最简单的指标管理方法——指标字典，我们在此基础上可以做指标管理系统OSM 实现了业务目标结构化，UJM 实现了业务目标流程化。数据指标体系其实只是数据赋能业务的万里长征的第一步。...
数据仓库设计要点
云来山更佳，云去山如画
05-09 2148
本文简述数据仓库设计要点
数据架构——DateVault
will001449的博客
08-24 1105
DataVault是一个BI系统，包括建模、方法论、架构和实施四个方面。DataVault的组件包括以下四个： DataVault建模（对模型性能和可扩展性的更改） DataVault方法论（遵循Scrum和敏捷最佳实践） DataVault架构（包含NoSQL系统和大数据系统） DataVault实施（基于模式、自动化生成能力成熟度模型集成——CMMI第五层及） DataVault有很多特殊之处，在面向企业数据仓库建模方法中吸收了软件开发最佳实践中的一些经验常识，包括CMMI、六西格玛管理、全面质
架构设计思维模式实践流程
DataVault2.0大数据的未来
04-01 263
只要开发软件系统，就会有源源不断的需求，因为业务是不断变化的。为了适应这些变化，我们需要运用架构设计思维模式，去调整软件系统的架构设计。因此，我们需要一套可复用、可进化的流程去实践架构设计思维模式。
data vault数据库建模指南
最新发布
04-28
Data Vault数据库建模指南是一种数据建模方法，旨在提高数据存储的灵活性和可扩展性。Data Vault数据库建模方法的主要组成部分包括纵向和横向模型，以及中心枢纽表。纵向模型将数据以其来源和时间为基础进行建模，而横向模型则基于业务实体和业务关系进行建模。通过使用中心枢纽表，可以将纵向和横向模型进行集成，并确保每个表都有自己的唯一标识符。这种方法可以确保数据的完整性和正确性，同时允许在需要时进行加速查询和数据挖掘。 除此之外，Data Vault数据库建模方法还有一些使用规则，比如对于不同的数据类型有不同的存储解决方案，对于表的创建要使用自然关键字来代替合成键等。在使用Data Vault数据库建模方法时，需要确保数据模型的一致性和正确性，同时需要确保在任何数据的添加和修改时都可以重新生成整个数据模型。这样可以确保数据建模的可扩展性，同时也可以使数据建模变得更加灵活。 通过使用Data Vault数据库建模方法，可以将数据存储和数据分析分离，从而可以更加灵活地处理数据，同时也可以有效地降低数据管理的成本。因此，在大型数据管理和分析项目中，Data Vault数据库建模方法成为一种越来越受欢迎的数据建模方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员学习圈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值