本文介绍了数据仓库的分层结构，包括ODS、DW、ADS和DM，并探讨了实时大数据背景下Lambda和Kappa架构的区别。文章指出，这两种架构各有优缺点，偶数科技提出将实时数仓与离线数仓统一在云原生平台，以实现高容错、低延迟和可扩展性。该平台在数据分层上有独特变化，如ODS层批流一体，DW层考虑离线和实时业务的细节处理。
关于数据仓库中数据分层，每个企业根据自己的业务需求可以有不同的划分。但一般会分为四个层：数据运营层、数据仓库层、数据服务层、数据集市。
1. 数据运营层（ODS - Operational Data Store）
- 数据运营层，也称数据准备区或者贴源层。它是指数据仓库源头系统的数据表通常会原封不动的存储一份，从而作为后续数据仓库加工数据的来源。ODS层数据的来源方式包括业务数据库、应用的埋点数据、消息队列等。
2. 数据仓库层（DW - Data Warehouse）：数据仓库层由下到上为细节数据层（DWD - Data Warehouse Details），数据基础层（DWB - Data Warehouse Base）和数据服务层（DWS - Data Warehouse Service）三层。
- 细节数据层是业务层与数据仓库的隔离层，主要对数据运营层做一些数据清洗和规范化的操作，包括去除空值、脏数据等等。
- 数据基础层里存储的是客观数据，一般用于中间层，可以认为是大量指标的数据层。
- 数据服务层基于数据基础层上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
3. 数据服务层/应用层（ADS - Application Data Service）
最低0.47元/天 解锁文章
318
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
