StarRocks的博客

随行付作为国内领先的支付基础设施平台，致力于携手合作伙伴与中小微企业，共建安全、稳定、高效运转的数字化支付生态，持续为不同行业与场景提供融合支付与经营的一体化数字化解决方案。

在刚刚落幕的 2025 Databricks Data + AI Summit 上，Databricks 重磅发布了多项 Lakehouse 相关功能更新。其中，面向数据湖治理场景的统一数据访问与管理方案 —— Unity Catalog，迎来了三大关键升级：全面支持 Apache Iceberg、面向业务用户的全新使用体验，以及数据治理与安全能力的持续增强。

Apache Hive 是一个分布式、容错的数据仓库系统，能够实现大规模的分析。Hive Metastore (HMS) 提供了一个元数据存储库，可以轻松分析这些元数据以做出基于数据的决策，因此它是许多数据湖架构中的关键组件。Hive 构建于 Apache Hadoop 之上，并通过 HDFS 支持在 S3、ADLS、GS 等存储上的数据管理。Hive 允许用户使用 SQL 读取、写入和管理 PB 级的数据。

Apache Paimon （后简称 Paimon）起源于 Apache Flink （后简称 Flink）的一个子项目，起初它只是 Flink 内置的 Table Store 的一个格式，经过了几年的发展后，在 2024 年成功从 Apache 软件基金会（ASF）孵化器毕业，成为正式的顶级项目。Paimon 围绕具有 ACID 特性的数据湖存储构建，支持 DML 操作， 可以完整地支持批处理和流处理。它创新性地将 LSM Tree 与湖格式相结合，具有高效的实时更新能力与 compaction 效率。

Apache Iceberg 是一种为大规模、复杂数据集设计的开源表格式，这些数据集跨越了 PB 级别的数据。最初作为 Netflix 管理海量表的解决方案，于 2018 年在 Apache 孵化器下开源，并在 2020 年毕业。Apache Iceberg 作为一种复杂的开放表格式，位于计算引擎（如 Flink 和 Spark）和存储格式（如 ORC、Parquet 和 Avro）之间。它作为一个中间件层，抽象了底层数据存储格式的复杂性，并向计算框架上层提供了统一的表格语义。