hive分层结构

hive分层结构

hive分层结构是根据不同的业务需求而设计的。目前主流的就两种设计

三层结构

ODS层：临时存储层，一般来说是对企业中所产生的数据采集过来做临时存储，对数据源系统做解耦合，为下一步分析做准备

DW层：数据仓库层，数据加工与整合

DA层：数据应用层，提供产品和数据分析所使用的数据

四层结构

ODS层：临时存储层，一般来说是对企业中所产生的数据采集过来做临时存储，对数据源系统做解耦合，为下一步分析做准备

PWD层：数据仓库层，数据仓库层，数据加工与整合

DM层：为数据集市层，这层数据是面向主题来组织数据的，通常是星形或雪花结构的数据。从数据粒度来说，这层的数据是轻度汇总级的数据，已经不存在明细数据了。从数据的时间跨度来说，通常是PDW层的一部分，主要的目的是为了满足用户分析的需求，而从分析的角度来说，用户通常只需要分析近几年（如近三年的数据）的即可。从数据的广度来说，仍然覆盖了所有业务数据

APP层：为应用层，这层数据是完全为了满足具体的分析需求而构建的数据，也是星形或雪花结构的数据。从数据粒度来说是高度汇总的数据。从数据的广度来说，则并不一定会覆盖所有业务数据，而是DM层数据的一个真子集，从某种意义上来说是DM层数据的一个重复。从极端情况来说，可以为每一张报表在APP层构建一个模型来支持，达到以空间换时间的目的数据仓库的标准分层只是一个建议性质的标准，实际实施时需要根据实际情况确定数据仓库的分层，不同类型的数据也可能采取不同的分层方法

编程小菜鸟 下午给出宝贵建议 不胜感激