你真的了解数据仓库、数据湖、数据湖仓吗？五分钟带你了解数据湖仓的演变

本文涉及到大数据领域的通识知识，建议每一位对大数据感兴趣的同学认真阅读、认真阅读、认真阅读。

前言

数据分析是现代企业和组织决策过程中不可或缺的一部分，数据分析技术经过数十年的发展，需求场景从 BI 报表到数据探寻、实时预测、用户画像等不断丰富，技术架构经历从数据仓库、数据湖、到数据湖仓的演进，并走向数据湖仓一体架构，通过一套架构服务多样化的分析场景。

数据仓库

数据仓库的发展可以追溯到 1980 年，关系型数据库、日志文件等数据源的数据经过 ETL 处理，统一存储到数据仓库，用于服务 BI 报表、数据挖掘等分析场景。数据仓库在数据质量、事务处理、查询性能、数据治理等方面有明显的优势，但随着数据分析的需求越来越大，数据仓库的方案也面临一些挑战。

• 数据多样化

除了结构化的数据，半结构化、非结构化的数据越来越多。

• 数据孤岛问题

数据仓库面向主题管理，导致数据分散形成孤岛，难以形成全局统一的数据分析。

• 成本与扩展性

大数据量增长带来数据存储成本与横向扩展的问题。

• 高级数据分析支持

数据仓库能很好的支持 BI 相关应用，但随着 AI 的发展，AI 应用与数据仓库的数据交互效率不高，制约了 AI 应用的发展。