1.名词解释
1.1 ODS (Operational Data Store)操作数据层
ods层是操作数据层,该层的主要功能是存储从数据源处获取的数据,是最接近数据源中数据的一层,数据源中的数据,经过少量基础的数据清洗(如数据过滤、字符集转换、维值处理) 之后,装入本层。
1.2 DW(Data Warehouse)数据仓库层
数据仓库层(DW),是数据仓库的主体.在这里,从 ODS 层中获得的数据按照主题建立各种数据模型。这一层和维度建模会有比较深的联系。dw层又可以细分为以下三层:
数据明细层:DWD(Data Warehouse Detail):该层的主要功能是基于主题域的划分,面向业务主题,以数据为驱动设计模型,完成数据整合,提供统一的基础数据来源。在该层级完成数据的清洗、重定义、整合分类功能
数据中间层:DWM(Data WareHouse Middle、MID或DWB, data warehouse basis):轻度汇总层数据仓库中DWD层和DM层之间的一个过渡层次,是对DWD层的生产数据进行轻度综合和汇总统计(可以把复杂的清洗,处理包含,如根据PV日志生成的会话数据)。轻度综合层与DWD的主要区别在于二者的应用领域不同,DWD的数据来源于生产型系统,并未满意一些不可预见的需求而进行沉淀;轻度综合层则面向分析型应用进行细粒度的统计和沉淀
数据服务层:DWS (DM,data market或DWS, data warehouse service):又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。
1.3 DIM(Dimension)维度层
该层主要存储简单、静态、代码类的维表、包括从OLTP层抽取转换维表、根据业务或分析需求构建的维表以及仓库技术维表如日期维表等。
1.4 APP(Application)应用数据层
该层级的主要功能是提供差异化的数据服务、满足业务方的需求,在该层级实现报表(数易、邮件报表)、自助取数等需求。
2.图示