数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)

最新推荐文章于 2024-07-11 12:49:13 发布

2301_79098963

最新推荐文章于 2024-07-11 12:49:13 发布

阅读量412

点赞数 3

分类专栏：程序员文章标签：知识图谱人工智能

本文链接：https://blog.csdn.net/2301_79098963/article/details/138297605

版权

本文对比了Apache Iceberg、Hudi和Paimon在Schema变更支持、其他功能、商业公司支持和性能方面的特点。Iceberg在Schema抽象方面表现优秀，Hudi提供广泛的Schema变更支持并广泛应用于各大公司，而Paimon在性能测试中展现出优越的读写性能。各框架各有优劣，选择需根据实际业务需求。

摘要由CSDN通过智能技术生成

4.Schema变更支持

对比项	Apache Iceberg	Apache Hudi	Apache Paimon
Schema Evolution	ALL	back-compatible	back-compatible
Self-defined schema object	YES	NO(spark-schema)	NO（我理解，不准确）

Schema Evolution：指schema变更的支持情况，我的理解是hudi仅支持添加可选列和删除列这种向后兼容的DDL操作，而其他方案则没有这个限制。

Paimon支持有限的schema变更。目前，框架无法删除列，因此 DROP 的行为将被忽略，RENAME 将添加新列，列类型只支持从短到长或范围更广的类型。

Self-defined schema objec：指数据湖是否自定义schema接口，以期跟计算引擎的schema解耦。这里iceberg是做的比较好的，抽象了自己的schema，不绑定任何计算引擎层面的schema。

在Hudi 0.11.0版本中，针对Spark 3.1、Spark 3.2版本增加了schema功能的演进。如果启用 set hoodie.schema.on.read.enable=true以后，我们可以对表列和对表进行一系列的操作。列的变更（增加、删除、重命名、修改位置、修改属性），表的变更（重命名、修改属性）等。