数据仓库3.0 第一期 数据仓库框架与原理

数据的采集

在这个过程中，是先从网页端拿到用户的行为日志数据

数据仓库

拿到数据后，有五个层面，对数据进行分析、建模和处理
大数据平台中的数据分层：

1.原始数据层（ODS）：这是存储所有原始数据的地方，包括来自不同数据源的数据，如传感器、日志、数据库等。这些数据通常以原始格式存储，并且可能非常庞大和复杂；
2.数据采集层（DWD）：在这一层，数据被采集、提取、清洗和转换，以便进行后续处理。这些数据通常会被整合到一个中心化的数据仓库或数据湖中。
3.数据存储层（DWS）：这一层是将采集到的数据进行存储和管理的地方。常见的数据存储技术包括关系型数据库、NoSQL数据库、分布式文件系统等。
4.数据处理层（DWT）：在这一层，数据被处理和转换成可用于分析和建模的格式。这可能包括数据清洗、转换、聚合、分析和建模等操作。数据处理层通常包括批处理和实时处理两种模式。
5.数据应用层（ADS）：这一层是将数据价值转化为实际业务价值的地方。数据被分析和可视化，以便用户能够理解和利用数据的价值。数据应用层包括各种应用程序和工具，如智能推荐、预测分析、风险管理等。

数据的可视化

数据仓库3.0技术框架一览：