推荐开源项目：Apache Polaris（孵化中）

推荐开源项目：Apache Polaris（孵化中）

polaris-catalog Polaris Catalog is an open source catalog for Apache Iceberg 项目地址: https://gitcode.com/gh_mirrors/po/polaris-catalog

项目介绍

Apache Polaris™ 是一个开源的、功能齐全的目录服务，专为 Apache Iceberg™ 设计。它实现了 Iceberg 的 REST API，使得在多种平台上实现多引擎互操作性成为可能，包括 Apache Doris™、Apache Flink®、Apache Spark™、StarRocks 和 Trino。

项目文档可在 Apache Polaris 官网 查阅，包括 Polaris 管理API文档 和 Apache Iceberg REST API 文档。

项目技术分析

Apache Polaris 采用 Java 21+ 和 Docker 27+ 构建，主要模块包括：

• polaris-core：包含 Polaris 的主要实体定义和核心业务逻辑。
• polaris-server：提供 Polaris REST API 服务。
• polaris-eclipselink：Eclipselink 实现 MetaStoreManager 接口。

构建和运行步骤简洁明了，支持多种构建选项，如启用 EclipseLink 扩展和指定额外依赖项。

构建和运行

• ./gradlew build：构建并运行测试。
• ./gradlew assemble：跳过测试。
• ./gradlew test：运行单元测试和集成测试。
• ./gradlew runApp：在本地运行 Polaris 服务器（localhost:8181）。

Docker 和 Kubernetes 支持

• Docker 构建和运行：

  • docker build -t localhost:5001/polaris:latest .
  • docker run -p 8181:8181 localhost:5001/polaris:latest

• Kubernetes 部署：

  • ./run.sh：本地运行 Polaris 作为迷你部署。
  • kubectl port-forward svc/polaris-service -n polaris 8181:8181 8182:8182

项目及技术应用场景

Apache Polaris 适用于需要跨多种数据处理平台实现数据管理和互操作性的场景，例如：

• 大数据处理：在 Apache Spark、Apache Flink 等大数据处理框架中使用，实现数据目录的统一管理。
• 数据仓库：与 Apache Doris、StarRocks 等数据仓库集成，提供高效的数据目录服务。
• 数据查询：在 Trino 等查询引擎中使用，支持跨平台数据查询。

项目特点

• 开源且功能齐全：完全开源，提供丰富的功能，满足多样化的数据目录管理需求。
• 多引擎互操作性：支持多种数据处理平台，实现无缝集成和互操作性。
• 易于构建和部署：基于 Gradle 和 Docker 的构建和部署流程，简化开发和使用。
• 社区支持：活跃的社区支持，提供公开聊天频道和详细的贡献指南。

加入我们

欢迎加入 Apache Polaris 公开聊天，获取更多信息和交流。

许可证

Apache Polaris 采用 Apache License Version 2.0 许可证。

ASF 孵化器声明

Apache Polaris™ 是 Apache 软件基金会（ASF）孵化中的项目，由 Apache 孵化器赞助。孵化状态不必然反映代码的完整性和稳定性，但表明项目尚未获得 ASF 的完全认可。

Apache®、Apache Polaris™、Apache Iceberg™、Apache Spark™ 是 Apache 软件基金会在美国和/或其他国家的注册商标或商标。

---

通过使用 Apache Polaris，您可以轻松实现跨平台的数据目录管理，提升数据处理效率和互操作性。立即加入我们，体验这一强大的开源项目吧！

polaris-catalog Polaris Catalog is an open source catalog for Apache Iceberg 项目地址: https://gitcode.com/gh_mirrors/po/polaris-catalog