2015年12月_wzy0623

原创 MySQL Fabric实验（二）Sharding

一、概述 MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器（或HA组）的写性能达到极限时，可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说的组可以是单一服务器，也可以是HA组。管理员通过建立一个分片映射定义数据如何在多个服务中分片。一个分片

2015-12-31 14:03:56 2049

原创 MySQL Fabric实验（一）HA

一、概述 MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于高可用。高可用指的是系统提供持续服务的能力。下图显示了一个系统中应该为服务可用提供的不同层次。 MySQL Fabric在MySQL复制上增加了一个管理和监控层，它和一组MySQL Fabric-aware连接器一起，把写和一致性读操作路由的当前的主服务器

2015-12-28 15:07:12 2464 1

原创 Data Vault初探（十） —— 星型模型向Data Vault模型转化

源数据库模型（3NF）如下图：星型模型如下图：Data Vault模型如下图：说明：星型模型（star schema）的事实表采取了完全规范化的第三范式（3NF）模型，而维表采取了第二范式的设计模型。有时也会把维表的设计规范化，就成了所谓的雪花模型（snowflake schema）。星型模型向Data Vault模型转化：星型模趔的主要构成部分是维表与事实

2015-12-15 15:07:49 7936 1

原创 Data Vault初探（九） —— 定期装载_Kettle_附属表

装载附属表作业：装载客户附属表：装载订单_产品附属表：装载产品附属表：装载产品分类附属表：

2015-12-11 17:51:03 2069

原创 Data Vault初探（八） —— 定期装载_Kettle_链接表

装载链接表作业：装载订单客户链接表：装载订单产品链接表：装载产品-产品分类链接表：

2015-12-11 17:35:11 1621

原创 Data Vault初探（七） —— 定期装载_Kettle_中心表

装载中心表作业：装载产品分类中心表：装载客户中心表：装载产品中心表：装载销售订单中心表：

2015-12-11 17:29:04 1936

原创 Data Vault初探（六） —— 定期装载_Kettle_作业

总体作业：设置日期变量：清空过渡表：装载过渡表：

2015-12-11 17:15:19 2383 1

原创 Data Vault初探（五） —— 定期装载_SQL

说明：1. 定期装载的周期为每天一次。2. 每天装载自上次装载后的变化数据3. 建立源数据库的过渡表用于CDC4. 建立cdc_time表用于基于时间戳的CDC5. 因为源库上只有订单销售表有时间属性，所以除了sales_order和sales_order_item拉取变化数据外，其它表都整体拉取到过渡区。实际环境中建议在源表设计上应该有created和last_updated

2015-12-11 17:06:07 2755

原创 Data Vault初探（四） —— 初始装载

下面的SQL脚本用于完成Data Vault的初始装载过程。USE dv;SET AUTOCOMMIT = 0;-- 清空附属表、链接表、中心表SET FOREIGN_KEY_CHECKS=0;TRUNCATE sat_customer;TRUNCATE sat_order_product;TRUNCATE sat_product;TRUNCATE sat_product_c

2015-12-08 18:27:03 3284

原创 Data Vault初探（三） —— 建立Data Vault模型

本示例源数据库是一个订单销售的普通场景，共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。使用下面的脚本建立源数据库表：CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', province_name varchar(20) DEFAULT NULL COMMENT

2015-12-08 18:05:54 8858 2

转载 Data Vault初探（二） —— 构建及参考原则

摘自：《下一代数据仓库模型Data Vault的研究及其应用》 Data Vault模型的构建在Data Vault模型中，各个实体组件有着严格、通用的定义与准确、灵活的功能描述，这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务规则，同时也为构建Data Vault模型提供了一致而普遍的方法。简单地讲，Data Vault模

2015-12-08 18:00:10 9591

转载 Data Vault初探（一） —— 基础

摘自：《Pentaho Kettle 解决方案: 使用PDI构建开源ETL解决方案》 Data Vault（DV）模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出（http://www.danlinstedt.com）。在最近几年，Data Vault模型获得了很多关注，并在BI社区里拥有了一批追随者。 Dan Linsted

2015-12-08 17:56:29 12103

wzy0623的专栏