开源 KDP v1.2.0 版本发布，支持存算分离、湖仓一体架构、大模型数据处理

LinkTime_Cloud

于 2024-07-12 14:12:14 发布

阅读量21

点赞数

文章标签：开源架构

版权

结合目前开源社区云原生+AI数据平台的前沿技术架构，历时一个多月的迭代，KDP v1.2.0 新版本终于发布。本次新版本为用户提供了更多云原生+AI的功能特性，欢迎开源社区用户的积极使用与反馈！

🚀🚀项目地址👇👇

https://github.com/linktimecloud/kubernetes-data-platform

🚀开源 KDP v1.2.0 版本亮点汇总🚀

KDP新集成了云原生大数据+AI领域的热点开源组件：

JuiceFS S3 Gateway[1]：JuiceFS S3 网关是 JuiceFS 支持的多种访问方式之一，它可以将 JuiceFS 文件系统以 S3 协议对外提供服务，使得应用可以通过 S3 SDK 访问 JuiceFS 上存储的文件。
Apache Iceberg[2]：Apache Iceberg 是一种用于大型分析数据集的开放表格式。Iceberg 使用类似于 SQL 表的高性能表格式将表添加到计算引擎中，包括 Spark、Trino、PrestoDB、Flink、Hive 和 Impala。
Milvus[3]：Milvus 是一个为 GenAI 应用构建的开源矢量数据库。使用 pip 进行安装，执行高速搜索，并以最小的性能损失扩展到数百亿个向量。

通过 Iceberg、JuiceFS，用户可以在 KDP 上构建一套具有湖仓一体、存算分离架构的大数据平台；

通过 Milvus、Airbyte，用户可以在 KDP 上构建大模型GenAI系统后端的数据处理系统，例如基于文档处理的 RAG + LLM 知识问答系统。

更新日志

详细的更新日志，请参考：Changelog[6]

扫码获取项目地址

🚀社区🚀

我们期待您的贡献和建议！最简单的贡献方式是参与Github议题/讨论的讨论。如果您有任何问题，请与我们联系，我们将确保尽快为您解答。

微信群：添加小助手微信拉您进入交流群

钉钉群：搜索公开群组号 82250000662

🚀贡献🚀

参考开发者指南，了解如何开发及贡献 KDP。

https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html

附录

【1】JuiceFS S3 Gateway

https://juicefs.com/docs/community/guide/gateway/

【2】Apache Iceberg

https://iceberg.apache.org/

【3】Milvus

https://milvus.io/

【4】在离线环境部署KDP

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/getting-started/offline-install.md

【5】Iceberg快速开始

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/iceberg-quickstart.md

【6】Changelog

https://github.com/linktimecloud/kubernetes-data-platform/releases/tag/v1.2.0

👇点击阅读原文，获取项目地址。

关注