深入理解 Spark Delta Lake 诞生及其工作原理

美国怀俄明的Delta Lake

本文来自2019年6月26日在美国波士顿举办的 Spark Meetup，分享者是正是砖厂（Databricks）的大神 Michael Armbrust。Michael Armbrust 是 Spark SQL的原创者，也是 Structured Streaming 的原创者，最近几年在做 Delta Lake。

下面这句话引用自：https://www.jianshu.com/p/3fef83ce1dba

Spark 做为一个计算引擎，应该无须质疑是当前大数据行业的领导者。。。而 Parquet 做为 Spark 的缺省数据存储格式，其实相当薄弱，缺少了太多关键特性，让Spark的用户不胜其扰，简直是Spark易用性的最大敌人！社区的抱怨可谓绵绵不绝，这种对于技术完美主义者，是无法容忍的！！！在这种背景下，Delta 开始了设计和实现。。。Databricks一年多前推出Delta之后，各位客户好评不断，但是我们只在有限的cloud上提供服务。这个实在无法满足那些在on prem上大量部署Spark的整个社区！于是乎，今年Spark Summit，使用Apache license 开源了！可以参见 《重磅 | Apache Spark 社区期待的 Delta Lake 开源了》

Delta Lake 功能强大，但是网上关于这个方面的文章少的可怜，特别是关于 Delta Lake 的内部工作原理更是凤毛麟角。最有资格介绍 Delta Lake 诞生背景以及内部工作原理的人非 Michael Armbrust 莫属，基于这些，Michael Armbrust 大神给我们带来了名为《Delta Lake: Open Source Reliability and Quality for Data Lakes》的分享，给我们介绍了 Delta Lake 的前世今生，引进 Delta Lake 的内部工作原理，值得一看。

本次分享的视频可以到下面地方获取：

优酷：

https://v.youku.com/v_show/id_XNDI0OTE4NzYzNg

YouTube（有字幕）：

https://www.youtube.com/watch?v=whaV6bMaf5o

本文PPT请关注 Hadoop技术博文 公众号并回复 delta_lake 获取。