Hive数仓分层架构

一、为什么要进行数据分层？数据分层的好处？

1、原因

对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控。

2、好处

清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
数据血缘追踪：简单来讲可以这样理解，我们最终给业务呈现的是一张能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
把复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
屏蔽原始数据的异常：屏蔽业务的影响，不必改一次业务就需要重新接入数据。

二、hive数仓分为哪几层？

来源于各种途径的日志表（以json格式存在的数据），通过工具解析传入ODS层

1、ODS层:数据运营层（贴源层）

这一层是最贴近源数据的一层，数据源中的数据经过抽取、洗净、传输，装入本层，一般来讲数据不需要进行过多的数据清洗工作