MySQL Fabric实验(二)Sharding

一、概述         MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器(或HA组)的写性能达到极限时,可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说的组可以是单一服务器,也可以是HA组。管理员通过建立一个分片映射定义数据如何在多个服务中分片。一个分片...
阅读(734) 评论(0)

MySQL Fabric实验(一)HA

一、概述         MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于高可用。高可用指的是系统提供持续服务的能力。下图显示了一个系统中应该为服务可用提供的不同层次。         MySQL Fabric在MySQL复制上增加了一个管理和监控层,它和一组MySQL Fabric-aware连接器一起,把写和一致性读操作路由的当前的主服务器...
阅读(1071) 评论(1)

Data Vault初探(十) —— 星型模型向Data Vault模型转化

源数据库模型(3NF)如下图: 星型模型如下图: Data Vault模型如下图: 说明: 星型模型(star schema)的事实表采取了完全规范化的第三范式(3NF)模型,而维表采取了第二范式的设计模型。有时也会把维表的设计规范化,就成了所谓的雪花模型(snowflake schema)。 星型模型向Data Vault模型转化: 星型模趔的主要构成部分是维表与事实...
阅读(1332) 评论(0)

Data Vault初探(九) —— 定期装载_Kettle_附属表

装载附属表作业: 装载客户附属表: 装载订单_产品附属表: 装载产品附属表: 装载产品分类附属表: ...
阅读(858) 评论(0)

Data Vault初探(八) —— 定期装载_Kettle_链接表

装载链接表作业: 装载订单客户链接表: 装载订单产品链接表: 装载产品-产品分类链接表:...
阅读(641) 评论(0)

Data Vault初探(七) —— 定期装载_Kettle_中心表

装载中心表作业: 装载产品分类中心表: 装载客户中心表: 装载产品中心表: 装载销售订单中心表:...
阅读(715) 评论(0)

Data Vault初探(六) —— 定期装载_Kettle_作业

总体作业: 设置日期变量: 清空过渡表: 装载过渡表:...
阅读(894) 评论(0)

Data Vault初探(五) —— 定期装载_SQL

说明: 1. 定期装载的周期为每天一次。 2. 每天装载自上次装载后的变化数据 3. 建立源数据库的过渡表用于CDC 4. 建立cdc_time表用于基于时间戳的CDC 5. 因为源库上只有订单销售表有时间属性,所以除了sales_order和sales_order_item拉取变化数据外,其它表都整体拉取到过渡区。实际环境中建议在源表设计上应该有created和last_updated...
阅读(889) 评论(0)

Data Vault初探(四) —— 初始装载

下面的SQL脚本用于完成Data Vault的初始装载过程。 USE dv; SET AUTOCOMMIT = 0; -- 清空附属表、链接表、中心表 SET FOREIGN_KEY_CHECKS=0; TRUNCATE sat_customer; TRUNCATE sat_order_product; TRUNCATE sat_product; TRUNCATE sat_product_c...
阅读(1007) 评论(0)

Data Vault初探(三) —— 建立Data Vault模型

本示例源数据库是一个订单销售的普通场景,共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。 使用下面的脚本建立源数据库表: CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', province_name varchar(20) DEFAULT NULL COMMENT...
阅读(2085) 评论(3)

Data Vault初探(二) —— 构建及参考原则

摘自:《下一代数据仓库模型Data Vault的研究及其应用》         Data Vault模型的构建         在Data Vault模型中,各个实体组件有着严格、通用的定义与准确、灵活的功能描述,这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务规则,同时也为构建Data Vault模型提供了一致而普遍的方法。 简单地讲,Data Vault模...
阅读(2980) 评论(0)

Data Vault初探(一) —— 基础

摘自:《Pentaho Kettle 解决方案: 使用PDI构建开源ETL解决方案》         Data Vault(DV)模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出(http://www.danlinstedt.com)。在最近几年,Data Vault模型获得了很多关注,并在BI社区里拥有了一批追随者。         Dan Linsted...
阅读(2225) 评论(0)
    个人资料
    • 访问:1297428次
    • 积分:17326
    • 等级:
    • 排名:第553名
    • 原创:253篇
    • 转载:20篇
    • 译文:5篇
    • 评论:155条
    博客专栏
    文章分类
    最新评论