目录
一、Iceberg概念及特点
Apache Iceberg是一种用于大型数据分析场景的开放表格式(Table Format)。Iceberg使用一种类似于SQL表的高性能表格式,Iceberg格式表单表可以存储数十PB数据,适配Spark、Trino、Flink和Hive等计算引擎提供高性能的读写和元数据管理功能,Iceberg是一种数据湖解决方案。
注意:Trino就是原来的PrestoSQL,2020年12月27日,PrestoSQL项目更名为Trino,Presto分成两个分支:PrestoDB、PrestoSQL。
Iceberg非常轻量级,可以作为lib与Spark、Flink计算引擎进行集成。
二、Iceberg的特点
Iceberg支持实时/批量数据写入和读取,支持Spark/Flink计算引擎。
Iceberg支持事务ACID,支持添加、删除、更新数据。
不绑定任何底层存储,支持Parquet、ORC、Avro格式兼容行存储和列存储。