从 Icelake 到 Iceberg Rust_github

本文作者丁皓是Databend 研发工程师，也是开源项目 OpenDAL 作者，主要研究领域包括存储、自动化与开源。

太长不看

 Icelake 已经停止更新，请改用  iceberg-rust。
Iceberg-rust 是一个由社区驱动的项目，所有 Icelake 的贡献者都已转向该项目。它涵盖了 Icelake 之前提供的所有功能，并且是 Apache Iceberg 的官方实现版本。

引言

我将分享 icelake 和 iceberg-rust 背后的历史。这篇文章将记录一个开放社区是如何运作的：人们因共同的目标而团结，共同努力。这是开源最初的力量，也总是吸引我的地方。

 Iceberg 是一种用于巨大分析表的高性能格式。它在全球范围内被广泛使用，并且几乎所有查询引擎都支持它。用户可以编写 SQL 来从存储在对象存储服务中的 Iceberg 表查询数据，无需首先将其导入数据库。
长期以来，Iceberg 缺少官方 Rust 实现，这就是我们故事开始的地方。

Icelake In Databend

我们在  Databend 内部已经讨论了很多次关于支持开放表格格式的话题，我对此非常感兴趣，尤其是 Iceberg。市面上有一些 Iceberg 的绑定存在，但都还未完全准备就绪。因此，我决定启动自己的项目叫做  Icelake。icelake 的主要理念是构建一个开放的湖仓实现方案，能够与任何表格格式兼容，包括  Iceberg、 Hudi 和  Delta。

这个项目由 Databend Labs赞助。我们最初将专注于支持Iceberg。

多亏了详尽的 Iceberg表格规范，我用了大约一周的时间来实现Iceberg规范。在此过程中，我深入了解了表格格式是如何运作的。我已经成功地让Databend支持起了Iceberg表的读取操作！

Icelake With RisingWave

在ASF，我们常强调 Community Over Code。创建了一个工作示范后，我的首要任务是找到另一位用户。幸运的是，我发现 RisingWave也在开展Iceberg支持的工作。他们已经使用了 Apache OpenDAL，因此我们与RisingWave有了一些联系。我直接联系他们，讨论了icelake，并邀请他们加入开发。
这就是我如何遇见 Renjie的。我们俩都怀揣着用rust重写大数据生态系统的愿景。能够与他合作让我感觉非常棒。经过几次讨论后，Renjie 决定将icelake整合到RisingWave中。他和 ZENOTME加入了icelake项目成为维护者，在那里他们修复了众多bug并增加了写入支持。随后，RisingWave实现了基于icelake的Iceberg sink功能。

Boin of Iceberg Rust

在icelake的开发过程中，社区的一些人也认识到了为Iceberg提供原生Rust支持的必要性。 Brian Olsen 发起了关于  Rust支持 的讨论。维护一个  Iceberg Rust实现的  Jan Kaul 加入讨论，并强调了icelake的存在。他还提到：
It was a great timing to start a rust project in the official apache iceberg repository that we can all work on together.
随后，讨论转移到了  iceberg slack，更多的Iceberg PMC成员和提交者加入了进来。Jan Kaul邀请Renjie和我加入关于Iceberg的对话——非常感谢！
我们花了一些时间讨论仓库位置，并举行了一次 在线会议。我们遇见了Jan Kual和 Fokko。能够与有着相同目标的人建立联系真是太有意义了。尽管我们以前从未见过面，但共同的目标使我们能够有效地合作。这是开源社区美好的一面！
会议结束后不久，Fokko帮助我们建立了 #rust Slack频道 和 iceberg-rust仓库。iceberg rust 项目正式启动，在我的生日（7月20日，考虑到时区变化）这一天。

Grow of Iceberg Rust

在建立了Iceberg Rust仓库之后，我们设定了贡献工作流程、CI操作和发布脚本，还添加了完整的规范实现和Arrow集成。
随着开发的进展，更多人加入了我们的团队，包括 marvinlanhenke、 sdd、 viirya、 odysa，以及其他30位！不到一年时间，我们吸引了43名贡献者，并进行了 官方ASF发布。Renjie 被授予首位来自Iceberg Rust项目的Iceberg提交者荣誉。他还代表该项目出席了第一届Iceberg峰会：将Apache Iceberg带入 Rust世界!

Sunset of Icelake

在撰写本文时，Iceberg Rust已覆盖icelake之前提供的所有功能，并现已成为Apache Iceberg的官方实现。一些主要使用icelake的用户已经或正在转向Iceberg Rust。

是时候逐步淘汰icelake项目，为Iceberg Rust让路了。我代表所有icelake提交者宣布，我们已正式结束了icelake项目。它将不再维护，所有当前用户现在应迁移到Iceberge Rust。
感谢所有参与和使用icelike的贡献者及用户；能够得到你们的支持是极大的荣幸。

Future of Iceberg Rust

目前，Iceberg Rust 社区正在开发 0.3 版本。这个版本将包括大部分用户需要用来读写 Iceberg 表的功能。我们鼓励所有对使用 Rust 操作 Iceberg 感兴趣的人尝试此版本，并为我们提供反馈。

在下一个版本中，我们将整合对 DataFusion 的原生支持，并增强与其他查询引擎连接 Iceberg 的体验，例如 Databend。也许我们可以探索支持 iceberg-nodejs 或 iceberg wasm 的新领域。有许多有趣的领域等待我们去发现！
总结

就这些了。感谢大家帮助构建 iceberg-rust。我期待在这一领域做出更多贡献。如果你也感兴趣，请随时联系我；我很乐意提供帮助。