【详谈 Delta Lake 】系列技术专题 之 湖仓一体（ Lakehouse ）

简介： 本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。

前言

本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。

此外，阿里云和 Apache Spark 及 Delta Lake 的原厂 Databricks 引擎团队合作，推出了基于阿里云的企业版全托管 Spark 产品——Databricks 数据洞察，该产品原生集成企业版 Delta Engine 引擎，无需额外配置，提供高性能计算能力。有兴趣的同学可以搜索` Databricks 数据洞察`或`阿里云 Databricks `进入官网，或者直接访问 https://www.aliyun.com/product/bigdata/spark 了解详情。

译者：韩宗泽（棕泽），阿里云计算平台事业部技术专家，负责开源大数据生态企业团队的研发工作。

Delta Lake技术系列 - 湖仓一体（Lakehouse）

——整合数据湖和数据仓库的最佳优势

目录

• Chapter-01  什么是湖仓一体？
• Chapter-02  深入探讨 Lakehouse 和 Delta Lake 的内部工作原理
• Chapter-03  探究 Delta Engine

本文介绍内容

Delta Lake 系列电子书由 Databricks 出版，阿里云计算平台事业部大数据生态企业团队翻译，旨在帮助领导者和实践者了解 Delta Lake 的全部功能以及它所处的场景。在本文中，Delta Lake 系列-湖仓一体（ Lakehouse ），重点介绍湖仓一体。

后续

读完本文后，您不仅可以了解 Delta Lake 提供了什么特性，还可以理解这些特性是如何带来实质性的性能改进的。

什么是数据湖？

Delta Lake 是一个统一的数据管理系统，可为云数据湖带来数据可靠性和快速分析能力。Delta Lake 可以在现有数据湖之上运行，并且与 Apache Spark API 完全兼容。

在Databricks 公司内部，我们已经看到了 Delta Lake 如何为数据湖带来可靠性保证，性能优化和生命周期管理。 使用 Delta Lake 可以解决以下问题：数据格式错误，数据合规性删除或对个别数据进行修改。同时，借助 Delta Lake，高质量数据可以快速写入数据湖，通过云服务（安全且可扩展）部署以提高数据的利用效率。

Chapter-01 什么是湖仓一体？

在过去的几年里，Lakehouse 作为一种新的数据管理范式，已独立出现在 Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。

数据仓库在决策支持和商业智能应用程序方面拥有悠久的历史。 自1980年代末创建以来，数据仓库技术一直在发展，MPP 架构使得系统能够处理更大规模的数据量。

尽管仓库非常适合结构化数据，但是许多现代企业必须处理非结构化数据，半结构化数据以及具有高多样性、高速度和高容量的数据。数据仓库不适用于许多此类场景，并且成本效益并非最佳。

随着公司开始从许多不同的来源收集大量数据，架构师们开始构想一个单一的系统来容纳许多不同的分析产品和工作任务产生的数据。

大约十年前，我们开始建立