深度解析数据湖存储方案 Lakehouse 架构

最新推荐文章于 2024-09-12 09:00:00 发布

阿里云技术

最新推荐文章于 2024-09-12 09:00:00 发布

阅读量4.2k

点赞数 1

文章标签：架构数据仓库数据挖掘

本文链接：https://blog.csdn.net/weixin_43970890/article/details/123394809

版权

Lakehouse是数据湖和数据仓库的结合，解决了数据仓库对半结构化和非结构化数据支持不足以及数据湖在BI和报表系统上的劣势。Delta Lake为Lakehouse提供了ACID事务、数据管控和性能提升，解决数据一致性、修改、查询管控等问题，实现批流一体和数据质量保证。Databricks与阿里云合作的DDI提供了企业级的Spark平台，支持商业洞察和机器学习。

摘要由CSDN通过智能技术生成

Lakehouse由lake和house两个词组合而成，其中lake代表Delta Lake（数据湖），house代表data warehouse（数据仓库）。因此，Lakehouse架构就是数据湖和数据仓库的结合。数据仓库和数据湖各自都存在着很多不足，而Lakehouse的出现综合了两者的优势，弥补了它们的不足。

数据仓库从上世纪 80 年代开始发展和兴起，它的初衷是为了支持BI系统和报表系统，而它的优势也就在于此。结构化的数据可以通过ETL来导入数据仓库，用户可以方便地接入报表系统以及BI系统。同时，它的数据管控能力也比较强。

数据仓库对于数据 schema 的要求非常严格，很多数据仓库甚至也实现了 acid 事务等能力。但是数据仓库对于半结构化数据比如时序数据和日志，以及非结构化数据比如图片、文档等的支持是非常有限的，因此它不适用于类似于机器学习的应用场景。而且一般情况下，数据仓库都是专有系统，使用成本比较高，数据迁移和同步的灵活性比较低。

因此，为了解决上述问题，数据湖的架构应运而生。

数据湖架构的基础是将原始数据以文件的形式存储在像阿里云OSS、AWS S3 和 Azure blob storage 等对象存储系统上。相比于数据仓库使用的专有系统，使用这些对象存储的成本比较低。数据湖的另一个优势是能够对半结构化和非结构化的数据提供非常好的支持。因为数据可以以文件的形式直接存储在数据湖之中，所以数据湖在机器学习等场景中的应用就比较广泛。但是它对于 BI 和报表系统的支持比较差，通常情况下需要通过ETL将数据转存到实时数据库或数据仓库中，才能支持 BI 和报表系统，而这对于数据的实时性和可靠性都会产生负面的影响。

综上，不论是数据仓库还是数据湖，都无法完全满足用户的需求。