iceberg简介

概述

为了解决数据存储和计算引擎之间的适配的问题，Netflix 开发了 Iceberg，2018 年 11月 16 日进入 Apache 孵化器，2020 年 5 月 19 日从孵化器毕业，成为 Apache 的顶级项目。Iceberg 是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（TableFormat）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。

特性

1. 数据存储、计算引擎插件化
   Iceberg 提供一个开放通用的表格式（Table Format）实现方案，不和特定的数据存储、计算引擎绑定。目前大数据领域的常见数据存储（HDFS、S3…），计算引擎（Flink、Spark…）都可以接入 Iceberg。在生产环境中，可选择不同的组件搭使用。甚至可以不通过计算引擎，直接读取存在文件系统上的数据。

2. 实时流批一体
   Iceberg 上游组件将数据写入完成后，下游组件及时可读，可查询。可以满足实时场景. 并且 Iceberg同时提供了流/批读接口、流/批写接口。可以在同一个流程里, 同时