Hudi 表支持多种查询引擎对比

Hudi 表支持多种查询引擎对比

Apache Hudi有两种主要的表类型，分别是Copy on Write（COW）表和Merge on Read（MOR）表。

1. Copy on Write（COW）表：

   • 特点：COW表在写入新数据时会创建一个全新的数据文件，保留历史版本的数据文件不变。每次写入都会生成新的数据文件，因此数据不会被覆盖，保证了数据的完整性和可追溯性。
   • 使用场景：适用于需要保留完整历史数据版本的场景，如数据仓库、数据湖等，能够提供数据版本管理和数据回滚功能。

2. Merge on Read（MOR）表：

   • 特点：MOR表在写入新数据时会先将数据写入临时文件，然后通过Compaction过程将临时文件合并到基础数据文件中，更新数据文件并删除旧版本。这种方式可以减少写入时的开销，提高写入性能。
   • 使用场景：适用于需要高性能写入和查询的场景，如实时数据分析、流式数据处理等，能够提供高效的数据写入和查询能力。

COW 表支持多种查询引擎对比

查询引擎	快照查询	增量查询
Hive	Y	Y
Spark SQL	Y	Y
Flink SQL	Y	N
PrestoDB	Y	N
Trino	Y	N
AWS Athena	Y	N
BigQuery	Y	N
Impala	Y	N
Redshift Spectrum	Y	N
Doris	Y	N
StarRocks	Y	N
ClickHouse	Y	N

MOR 表支持多种查询引擎对比

查询引擎	快照查询	增量查询	读优化查询
Hive	Y	Y	Y
Spark SQL	Y	Y	Y
Spark Datasource	Y	Y	Y
Flink SQL	Y	Y	Y
PrestoDB	Y	N	Y
AWS Athena	Y	N	Y
Big Query	Y	N	Y
Trino	N	N	Y
Impala	N	N	Y
Redshift Spectrum	N	N	Y
Doris	N	N	N
StarRocks	Y	N	Y
ClickHouse	N	N	N

通过选择合适的表类型，可以根据不同的需求和场景来平衡数据的一致性、可靠性以及性能需求，从而更好地利用 Apache Hudi 来管理和处理数据。