标准数仓的分层ODS——历史存储层（复制层）PDW——数据仓库层（原子层）MID——数据集市层APP——应用层数仓标准上可以分成4层。但这种划分和命名不是唯一的，一般数仓都是四层，但不同公司有不同的叫法，比如临时层也叫复制层，而京东叫BDM，阿里巴巴叫数据准备层。有些系统里也会在ODS层前加一层SD层（源数据层），来指代数据的来源，SD层存储的数据一般具有多来源、多类型特征，可...
标准数仓的分层
ODS——历史存储层（复制层）
PDW——数据仓库层（原子层）
MID——数据集市层
APP——应用层
数仓标准上可以分成4层。但这种划分和命名不是唯一的，一般数仓都是四层，但不同公司有不同的叫法，比如临时层也叫复制层，而京东叫BDM，阿里巴巴叫数据准备层。有些系统里也会在ODS层前加一层SD层（源数据层），来指代数据的来源，SD层存储的数据一般具有多来源、多类型特征，可能使用多种数据库，甚至是非结构化数据，是数据仓库中数据最复杂的一层，需要工程师对多种数据库多种数据类型都有一定了解。
尽管叫法不同，但功能大致上都是一样的。实际操作时会根据具体的项目的不同对其进行改造。
为什么要对数据仓库分层？
用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量亢余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。
通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作的拆分成了多个简单的工作，把一个大黑盒变成了一个个小白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。
数仓应该是目前大数据平台的一个最重要的主流应用，目前的大数据平台不管是从哪个角度来说，都离不开
最低0.47元/天 解锁文章
463
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
