数据仓库物理分层_大数据之数据仓库分层 数据组织和管理方法

大数据之数据仓库分层

什么是数据分层?

数据分层的好处

一种通用的数据分层设计

举例

各层会用到的计算引擎和存储系统

分层实现

数据分层的一些概念说明 7.大数据相关基础概念

1. 什么是数据分层?

数据分层是一套行之有效的数据组织和管理方法，使得数据体系更有序。

2. 数据分层的好处

(1)清晰数据结构

每一个数据分层都有它的作用域和职责，在使用表的时候能更方便的定位和理解。

(2)减少重复开发

规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。

(3)统一数据口径

通过数据分层，提供统一的数据出口，统一对外输出的数据口径。

(4)复杂问题简单化

将一个复杂的任务分解成多个步骤完成，每一层解决特定的问题。

一种通用的数据分层设计

ODS：存放原始数据

DW：存放数仓中间层数据

APP：面向业务定制的应用数据

3. 举例

以下是一个电商网站的数据体系设计，只关注用户访问日志这部分数据。

4. 各层会用到的计算引擎和存储系统

5.分层实现

在确定建模思路和模型类型之后，下一步的工作是