Databricks说的Lakehouse是什么？

在过去的几年里，Lakehouse作为一种新的数据管理范式，已独立出现在Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。

数据仓库在决策支持和商业智能应用方面有着悠久的历史。自20世纪80年代末问世以来，数据仓库技术一直在持续不断的发展，并且MPP体系架构使系统能够处理更大的数据量。尽管数据仓库非常适合处理结构化数据，但是对于很多现代企业，对非结构化数据、半结构化数据以及具有高多样性、高速度、高容量特性的数据处理也往往是必须的，数据仓库并不适用于此类场景的处理，并且成本方面也不是最具效益的。

随着很多公司开始从很多不同的数据源收集大量数据，架构师开始构想通过一个单一的系统来容纳不同分析产品和工作负载的数据。大约十年前，很多公司开始构建数据湖（存储各种格式原始数据的仓库）。虽然数据湖适合存储数据，但缺少一些关键功能（如不支持事务、无法提高数据质量、缺乏一致性/隔离性）导致几乎不可能融合处理数据的追加和读取、批和流处理任务。由于这些原因，数据湖之前的许多承诺没有兑现，并且在许多情况下还会丧失数据仓库原本的很多优势。

很多公司对各类数据应用包括SQL分析、实时监控、数据科学和机器学习的灵活性、高性能系统的需求并未减少。AI的大部分最新进展是有可用于更好处理非结构化数据（如text、images、video、audio）的模型，但这些恰恰是数据仓库未针对优化的数据类型。一种常见的解决方案是使用融合了数据湖、多个数据仓库以及其他的如流、时间序列、图和图像数据库的系统。但是维护这一整套系统是非常复杂的（维护成本相对较高&#x