hive的高级应用

一.数据仓库的架构设计

数据仓库的主要工作就是ETL Extract-Transform-Load的缩写

1.2数据架构

        架构原则:先水平,在垂直

        数据架构分三层:

        源数据落地区: (SDF source data file)

        数据仓库层: DW Data WareHouse

        数据集市层: DM Data Market

        数据仓库层进一步分三层

                源数据层:DWB Data WareHouse Base

                 细节数据层:DWD Data WareHouse

        汇总数据层:DWS Data WareHouse Summary

二.数据仓库的建模:

概念定义:

数据模行是抽象描述现实世界的一种工具和方法

2.1 数据仓库建模的阶段发展:

简单报表阶段

数据集市阶段

数据仓库阶段

2.2数据建模的意义

进行全面的的业务梳理改进业务流程

建立全方位的数据视角,消灭信息孤岛和数据差异

解决业务的变动和数据仓库的灵活性

帮助数据仓库系统本身的建设

2.3如何构建数据模型

数据模型的层次划分

业务建模:主要解决业务层面的分解和程序化。

领域建模:主要是对业务模型进行抽象处理

逻辑建模:主要就是写sql

物理建模:生成表

2.4构建方法:范式建模法

维度建模法

实体建模法</