1.数据仓库
架构(大数据平台基于hadoop+hive+kafka)
数据缓冲区(ODS)的数据结构与源系统完全一致。基础数据模型(DWD)和汇总层DWM(轻度汇总与高度汇总)是大数据平台重点建设的数据模型。集市层DWS(DM)模型由各主题按需自行建设,其中基础数据层DWD模型一般采用ER模型,DWM采用维度建模思路,主题分析DWS(DM)。应用层APP,一般是mysql/hbase/reids/clickhouse.
为什么要分层?
数据仓库一般要进行分层的设计,其能带来五大好处:
清晰数据结构:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
数据血缘追踪:能够快速准确地定位到问题,并清楚它的危害范围。
减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。
把复杂问题简单化:将复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。当数据出现问题之后,不用修复所有的数据,只需要从有问题的步骤开始修复。
屏蔽原始数据的异常:不必改一次业务就需要重新接入数据。
数据模型的意义
数据模型将数据有序的组织和存储起来之后,大数据才能得到高性能、低成本、高效率、高质量的使用。
性能:帮助我们快速查询所需要的数据,减少数据的I/O吞吐,提高使用数据的效率,如宽表。
成本:极大地减少不必要的数据冗余,