如何使用Delta Lake构建批流一体数据仓库

简介：Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。

作者：

李元健，Deltabricks软件工程师

冯加亮，阿里云开源大数据平台技术工程师

Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。

本篇文章将从3个部分介绍关于Delta Lake的一些特性：

• Delta Lake的项目背景以及想要解决的问题
• Delta Lake的实现原理
• Live Demo

一、Delta Lake的项目背景以及想要解决的问题

1）背景

相信大家在构建数仓处理数据方面都很有经验，而产业界也耗费了大量的资源来构建相关的系统。

我们发现有半结构化数据、实时数据、批量数据，用户数据等一系列数据存储在各个地方，分别以不同的处理形式为用户提供服务。

那么我们期望