【老贝伏枥】数据仓库为什么要分层

@老贝伏枥】数据仓库为什么要分层

【老贝伏枥】数据仓库为什么要分层

背景

今天有位同事问了一个很原始的问题，数仓为什么要分层？每一层作用是什么？N个为什么，还真把人问懵了，虽然说出了点理由，却显得说服力不足。今天重新把这些理论，捋一捋。

分层的作用

优秀可靠的数仓体系，需要清晰的数据分层结构。即要保证数据层的稳定又要屏蔽对下游的影响，并且要避免链路过长。结合这些原则及以往的工作经验，我们将分层进行统一定义为四层：

1.结构清晰：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
2.血缘追踪：能够快速准确地定位到问题，并清楚问题的危害范围。
3.减少冗余：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
4.简化复杂问题：将复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。当数据出现问题之后，不用修复所有的数据，只需要从有问题的步骤开始修复。
5.屏蔽原始数据的异常：不必改一次业务就需要重新接入数据。

数仓经典分层

1.ODS称之为贴源层，一般用快照保留来自源系统的历史数据，方便追查历史和归档历史。
2.DW称之为明细层，仅仅依赖ODS数据进行清洗、规范命名、轻度横向或纵向整合