wzy0623的专栏

数据库、数据仓库、大数据

MySQL Fabric实验(二)Sharding

一、概述         MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器(或HA组)的写性能达到极限时,可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说...

2015-12-31 14:03:56

阅读数:1129

评论数:0

MySQL Fabric实验(一)HA

一、概述         MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于高可用。高可用指的是系统提供持续服务的能力。下图显示了一个系统中应该为服务可用提供的不同层次。         MySQL Fabric在MySQL复制上增加了一个管理和监控层,...

2015-12-28 15:07:12

阅读数:1468

评论数:1

Data Vault初探(十) —— 星型模型向Data Vault模型转化

源数据库模型(3NF)如下图: 星型模型如下图: Data Vault模型如下图: 说明: 星型模型(star schema)的事实表采取了完全规范化的第三范式(3NF)模型,而维表采取了第二范式的设计模型。有时也会把维表的设计规范化,就成了所谓的雪花模型(snowflake ...

2015-12-15 15:07:49

阅读数:2980

评论数:1

Data Vault初探(九) —— 定期装载_Kettle_附属表

装载附属表作业: 装载客户附属表: 装载订单_产品附属表: 装载产品附属表: ...

2015-12-11 17:51:03

阅读数:1234

评论数:0

Data Vault初探(八) —— 定期装载_Kettle_链接表

装载链接表作业: 装载订单客户链接表: 装载订单产品链接表: 装载产品-产品分类链接表:

2015-12-11 17:35:11

阅读数:930

评论数:0

Data Vault初探(七) —— 定期装载_Kettle_中心表

装载中心表作业: 装载产品分类中心表: 装载客户中心表: 装载产品中心表: 装载销售订单中心表:

2015-12-11 17:29:04

阅读数:1112

评论数:0

Data Vault初探(六) —— 定期装载_Kettle_作业

总体作业: 设置日期变量: 清空过渡表: 装载过渡表:

2015-12-11 17:15:19

阅读数:1404

评论数:0

Data Vault初探(五) —— 定期装载_SQL

说明: 1. 定期装载的周期为每天一次。 2. 每天装载自上次装载后的变化数据 3. 建立源数据库的过渡表用于CDC 4. 建立cdc_time表用于基于时间戳的CDC 5. 因为源库上只有订单销售表有时间属性,所以除了sales_order和sales_order_item拉取变化数据外,其它表...

2015-12-11 17:06:07

阅读数:1422

评论数:0

Data Vault初探(四) —— 初始装载

下面的SQL脚本用于完成Data Vault的初始装载过程。 USE dv; SET AUTOCOMMIT = 0; -- 清空附属表、链接表、中心表 SET FOREIGN_KEY_CHECKS=0; TRUNCATE sat_customer; TRUNCATE sat_order_pro...

2015-12-08 18:27:03

阅读数:1652

评论数:0

Data Vault初探(三) —— 建立Data Vault模型

本示例源数据库是一个订单销售的普通场景,共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。 使用下面的脚本建立源数据库表: CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', ...

2015-12-08 18:05:54

阅读数:3893

评论数:3

Data Vault初探(二) —— 构建及参考原则

摘自:《下一代数据仓库模型Data Vault的研究及其应用》         Data Vault模型的构建         在Data Vault模型中,各个实体组件有着严格、通用的定义与准确、灵活的功能描述,这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务...

2015-12-08 18:00:10

阅读数:5618

评论数:0

Data Vault初探(一) —— 基础

摘自:《Pentaho Kettle 解决方案: 使用PDI构建开源ETL解决方案》         Data Vault(DV)模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出(http://www.danlinstedt.com)。在最近几年,Data V...

2015-12-08 17:56:29

阅读数:5502

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭