Spark母公司Databricks数砖将Delta Lake开源了

2019年的Spark Summit大会上，大红大紫的开源项目Spark背后的独角兽公司DataBricks宣布开源了他们的Delta Lake。

Delta Lake诞生背景

很多公司内部数据架构中都有数据湖，数据湖即一种大型数据存储和处理引擎，能够存储大量各种类型的数据，拥有强大的信息处理能力和处理几乎无限的兵法任务和工作的能力。

然而，自建的数据湖一般面临很多问题，比如：

• 数据湖的读写是不可靠的。数据工程师经常遇到不安全写入数据湖的问题，导致读者在写入期间看到垃圾数据。他们必须构建方法以确保读者在写入期间始终看到一致的数据。
• 数据湖中的数据质量很低。将非结构化数据转储到数据湖中是非常容易的。但这是以数据质量为代价的。没有任何验证模式和数据的机制，导致数据湖的数据质量很差。因此，努力挖掘这些数据的分析项目也会失败。
• 随着数据的增加，处理性能很差。随着数据湖中存储的数据量增加，文件和目录的数量也会增加。处理数据的作业和查询引擎在处理元数据操作上花费大量时间。在有流作业的情况下，这个问题更加明显。
• 数据湖中数据的更新非常困难。工程师需要构建复杂的管道来读取整个分区或表，修改数据并将其写回。这种模式效率低，并且难以维护。

Delta Lake针对以上问题，提供以下主要功能

• 支持 ACID 事务。Delta Lake 在多并发写入之间提供 ACID 事务保证。每次写入都是一个事务，并且在事务日志中记录了写入的序列顺序。事务日志跟踪文件级别的写入并使用乐观并发控制，这非常适合数据湖，因为多次写入/修改相同的文件很少发生。在存在冲突的情况下，De