大数据平台层级架构图

主流数据平台架构

 

一般包含三个层级，ODS层、数据仓库层、数据应用层。

业务系统的操作和日志数据抽取到ODS层，ODS的数据经过ETL过程（抽取Extraction，转化Transformation，加载Loading）进入数据仓库，

数据仓库反哺业务，为业务的分析和决策提供支持：反应业务现状，预测业务未来发展趋势，为业务的优化拓展赋能智慧。

先说目的，为什么分层，技术上分层是为了易于管理、减少耦合、增加灵活性。

最终的目标呢？是数据应用：反应业务现状、预测未来的趋势、根据当下和未来制定智慧决策。

先来一张简约版的大数据平台层级架构图，方便大家从宏观上了解，防止陷入细节。

文末有一张更加具体而详细的大数据平台层级架构图，方便大家拓展知识。

数据平台层级架构图

ODS层

设计方案

直接从业务系统和用户日志中抽取，可与业务系统、日志系统中的数据结构和关系保持一致。

作用

直接在业务系统和日志系统进行查询是会影响业务体统的正常运转，ODS的存在将查询操作和业务系统隔离开来，使分析师和决策者的查询更高效，隔离查询对业务系统运转的影响。

数据仓库

设计方案

推荐设计流程：业务建模-领域建模-逻辑建模-物理建模

业务建模-领域建模-逻辑建模-物理建模，的建模流程。
业务建模：深入业务现场，进行业务主线的划分，业务流程的整合。
领域建模：即是实体抽象的过程，抽象出各个业务主线涉及到的领域概念和实体。
逻辑建模：找出各个实体之间的关系，此时推荐3NF 建模方法，ER图很有帮助。
物理建模：ER图落地到具体的数据库。

纵向分层，水平分域。

自底向上分层：DWD（数据明细层）、DWS（轻度汇聚层）、DM（数据集市）

按业务分域：例如用户、产品、交易等。

逻辑建模和物理建模阶段也可以用比较流行易懂的『维度建模』。

作用

反应企业当前的经营状况、可进行多维度系统分析、数据挖掘的基础，为商业决策提供支持。

数据应用层

设计方案

数据的应用来自于实际的业务需要，或者数据治理、监管的需要。

主要面向具体分析场景、挖掘场景、治理场景、监管场景进行设计的具体数据应用、数据产品。

以便实现：反应业务现状、预测未来的趋势、根据当下和未来制定智慧决策。

作用

实践的好，也许能成为三体里的星环公司。

课后复习一个复杂的图，看上去很复杂和全面，但是并不容易理解，容易让人只见树木不见森林。