自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

  • 博客(12)
  • 资源 (1)
  • 收藏
  • 关注

原创 MySQL Fabric实验(二)Sharding

一、概述        MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器(或HA组)的写性能达到极限时,可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说的组可以是单一服务器,也可以是HA组。管理员通过建立一个分片映射定义数据如何在多个服务中分片。一个分片

2015-12-31 14:03:56 2049

原创 MySQL Fabric实验(一)HA

一、概述        MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于高可用。高可用指的是系统提供持续服务的能力。下图显示了一个系统中应该为服务可用提供的不同层次。        MySQL Fabric在MySQL复制上增加了一个管理和监控层,它和一组MySQL Fabric-aware连接器一起,把写和一致性读操作路由的当前的主服务器

2015-12-28 15:07:12 2463 1

原创 Data Vault初探(十) —— 星型模型向Data Vault模型转化

源数据库模型(3NF)如下图:星型模型如下图:Data Vault模型如下图:说明:星型模型(star schema)的事实表采取了完全规范化的第三范式(3NF)模型,而维表采取了第二范式的设计模型。有时也会把维表的设计规范化,就成了所谓的雪花模型(snowflake schema)。星型模型向Data Vault模型转化:星型模趔的主要构成部分是维表与事实

2015-12-15 15:07:49 7934 1

原创 Data Vault初探(九) —— 定期装载_Kettle_附属表

装载附属表作业:装载客户附属表:装载订单_产品附属表:装载产品附属表:装载产品分类附属表:

2015-12-11 17:51:03 2069

原创 Data Vault初探(八) —— 定期装载_Kettle_链接表

装载链接表作业:装载订单客户链接表:装载订单产品链接表:装载产品-产品分类链接表:

2015-12-11 17:35:11 1621

原创 Data Vault初探(七) —— 定期装载_Kettle_中心表

装载中心表作业:装载产品分类中心表:装载客户中心表:装载产品中心表:装载销售订单中心表:

2015-12-11 17:29:04 1936

原创 Data Vault初探(六) —— 定期装载_Kettle_作业

总体作业:设置日期变量:清空过渡表:装载过渡表:

2015-12-11 17:15:19 2383 1

原创 Data Vault初探(五) —— 定期装载_SQL

说明:1. 定期装载的周期为每天一次。2. 每天装载自上次装载后的变化数据3. 建立源数据库的过渡表用于CDC4. 建立cdc_time表用于基于时间戳的CDC5. 因为源库上只有订单销售表有时间属性,所以除了sales_order和sales_order_item拉取变化数据外,其它表都整体拉取到过渡区。实际环境中建议在源表设计上应该有created和last_updated

2015-12-11 17:06:07 2755

原创 Data Vault初探(四) —— 初始装载

下面的SQL脚本用于完成Data Vault的初始装载过程。USE dv;SET AUTOCOMMIT = 0;-- 清空附属表、链接表、中心表SET FOREIGN_KEY_CHECKS=0;TRUNCATE sat_customer;TRUNCATE sat_order_product;TRUNCATE sat_product;TRUNCATE sat_product_c

2015-12-08 18:27:03 3283

原创 Data Vault初探(三) —— 建立Data Vault模型

本示例源数据库是一个订单销售的普通场景,共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。使用下面的脚本建立源数据库表:CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', province_name varchar(20) DEFAULT NULL COMMENT

2015-12-08 18:05:54 8856 2

转载 Data Vault初探(二) —— 构建及参考原则

摘自:《下一代数据仓库模型Data Vault的研究及其应用》        Data Vault模型的构建        在Data Vault模型中,各个实体组件有着严格、通用的定义与准确、灵活的功能描述,这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务规则,同时也为构建Data Vault模型提供了一致而普遍的方法。简单地讲,Data Vault模

2015-12-08 18:00:10 9590

转载 Data Vault初探(一) —— 基础

摘自:《Pentaho Kettle 解决方案: 使用PDI构建开源ETL解决方案》        Data Vault(DV)模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出(http://www.danlinstedt.com)。在最近几年,Data Vault模型获得了很多关注,并在BI社区里拥有了一批追随者。        Dan Linsted

2015-12-08 17:56:29 12103

PD_导出模板.rtp

Powerdesigner 物理模型report模板,可用于生成数据字典Word文档。

2021-04-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除