【1.系统工程与信息系统基础】1.25 数据湖

数据湖与数据仓库体系解析

一、数据湖核心定义

核心特征矩阵

维度	数据湖特性	典型数据示例
数据结构	原始形态保留	日志文件/传感器数据
数据类型	多模态存储	图片/视频/JSON文档
处理能力	实时+批量处理	流计算/机器学习

---

二、数据湖架构模型

分层处理架构

---

三、数据湖 vs 数据仓库对比

体系对比全景图

数据仓库 和 数据湖 的区别表格

维度	数据仓库	数据湖
数据形态	清洗后的结构化数据	原始数据（结构/非结构）
模式定义	数据存储之前定义数据模式 数据集成之前完成大量工作 数据的价值提前明确	数据存储之后定义数据模式 提供敏捷、简单的数据集成 数据的价值尚未明确
存取方法	标准SQL接口	应用程序，类SQL的程序
优势	多数据源集成，干净、安全的数据、转换一次，多次使用	无限扩展性，并行执行，支持编辑框架，数据经济

---

四、技术实现路径

数据湖建设三步法

关键技术组件

组件类型	数据仓库方案	数据湖方案
存储引擎	列式存储（如Redshift）	对象存储（如S3）
计算引擎	MPP架构	Spark/Flink
元数据管理	集中式Catalog	分布式元数据服务
安全控制	行列级权限	动态数据掩码

---

五、典型应用场景

混合架构实践案例

场景对比矩阵

场景特征	适用数据仓库	适用数据湖
数据结构	稳定Schema	动态变化结构
查询模式	预定义分析	探索式分析
数据新鲜度	T+1批量更新	实时流式接入
用户角色	业务分析师	数据科学家

---

行业实践：

• 沃尔玛使用数据湖存储每日50TB销售点数据，支撑实时定价分析
• 平安银行构建湖仓一体架构，查询性能提升3倍，存储成本降低40%
  技术趋势：Delta Lake/Iceberg等开源方案正在模糊湖仓边界

---

湖仓-知识点

湖仓一体架构，就是数据库和数据湖一起使用，没有明确的数据先放进数据湖，理清楚之后逐步从数据湖提取出来入仓库，如此数据湖里面所存的数据量不会非常的庞大，而且理清楚后就可以入仓库，形成一个良性的循环。

---

软考经验

数据仓库和数据湖的区别需学习掌握，不排除会出题会出一些填空。

---

写在最后 ✨

各位技术小伙伴们～ 👋
如果觉得这篇解析对你有帮助：

• 👉 点击关注 → 不错过后续的架构干货
• 👍 点赞支持 → 您的鼓励是我更新的动力
• 💾 收藏备用 → 搭建系统时随时查阅
• 🎯 转发分享 → 帮助更多小伙伴少走弯路

---

「小贴士」：点击头像→【关注】按钮，系统架构师成长之路不迷路！ 🚀