本文介绍了如何创建数据仓库，包括使用DDL语句建模和Hive/Spark SQL实现。详细阐述了ETL过程，涉及数据抽取、转换和加载。同时探讨了OLAP/BI工具的应用，以及数据立方体的五大操作，如切片和切块、旋转、上卷和下钻等。
数据仓库的实现与使用
一、创建数据仓库
通过编写DDL(数据定义语言)语句来实现。
建模：使用专门的建模软件进行ER建模、关系建模、维度建模
实现：Hive/Spark SQL
二、ETL
实质：从各个数据源提取数据，对数据进行转换，并最终加载填充数据到数据仓库维度建模后的表中。
1. 抽取（Extract）
根据数仓主题、主题域确定需要从应用数据库中提取的数据。
2. 转换（Transform）
对提取好的数据的结构进行转换，以满足目标数仓模型的过程。转换过程也负责数据质量工作，也称为数据清洗。
3. 加载（Load）
将已经提取好、转换后保证了数据质量的数据加载到目标数仓。
- 首次加载：大量数据
- 刷新加载：微批量式加载
三、OLAP/BI工具
最低0.47元/天 解锁文章
扫一扫
2037
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
