全票通过！网易数帆开源项目Kyuubi进入Apache孵化器

最新推荐文章于 2024-04-29 00:22:57 发布

网易杭研

最新推荐文章于 2024-04-29 00:22:57 发布

阅读量422

点赞数

分类专栏：大数据文章标签：大数据 Spark Kyuubi 开源网易

本文链接：https://blog.csdn.net/NetEaseResearch/article/details/118227003

版权

大数据专栏收录该内容

37 篇文章 22 订阅

订阅专栏

Kyuubi，灵感来源于《山海经》和《火影忍者》，是网易首个进入Apache孵化器的开源项目。它致力于大数据平民化，通过C/S架构提供优化的Spark算力，兼容HiveServer2，支持多租户、高可用等企业级特性。Kyuubi提供预置Engine模块，简化Spark API使用，实现资源弹性伸缩，支持批流一体和主流数据湖框架，打造统一数据湖管理平台。

摘要由CSDN通过智能技术生成

北京时间2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源的大数据项目Kyuubi以全票通过的表现，正式进入Apache基金会孵化器。 根据投票结果，Kyuubi获得了13个约束性投票(binding votes)和8个无约束性投票(non-binding votes)，投票全部持赞同意见，无弃权票和反对票。
在这里插入图片描述

Kyuubi 是网易第一款贡献给 Apache 基金会进入孵化器的开源项目。开源至今，Kyuubi 已累积接受了 29 位国内外开发者超过 200 个以上的提交。当然，进入Apache 孵化器只是一小步。未来， Kyuubi 社区将遵循「The Apache Way」, 打造更加多元化的生态和社区，由衷地欢迎更多的贡献者、用户能够参与到Kyuubi社区中来。

Kyuubi 系统介绍

Kyuubi 的命名源自中国神话《山海经》，意为“九尾狐”。狐会喷火，象征Spark；狐有九尾，类比多租户，在Spark上实现多租户是系统设计之初的主要目的。然后我们取了《火影忍者》动漫中角色九尾的罗马音['kju:bi:]，作为言简意赅的项目名称。
Kyuubi 的最终目标是让“大数据平民化”。为实现这个目标，Kyuubi遵循“专业人做专业事”的准则，通过 Kyuubi的 C/S 架构，服务端大数据专家可以将 Spark 等大数据算力极致优化并高度封装后提供出来，业务端专家可通过该算力直接在自己擅长的业务领域处理数据产生价值，两者之间也通过简单的接口进行必要且有效的直接交互。

Kyuubi 使用场景

替换 HiveServer2，轻松获得 10~100 倍性能提升

Kyuubi 高度兼容 HiveServer2 接口及行为，支持无缝迁移
Kyuubi 分层架构，消除客户端兼容性问题，支持无感升级
Kyuubi 支持 Spark SQL 全链路优化及再增强，性能卓著
高可用、多租户、细粒度权限认证各种企业级特性统统都有

构建 Serverless Spark 平台

Serverless Spark 目标绝对不是让用户调用Spark的API、继续写 Spark 作业
通过 Kyuubi 预置的 Engine 模块，用户无需理解 Spark 逻辑， 入门门槛极低
用户只需通过JDBC及SQL操作数据专注自身业务开发即可，资源弹性伸缩，0运维
支持资源管理器（Kubernetes, YARN等），Engine 生命周期，Spark 动态资源分配3级不同粒度全方位的资源弹性策略
支持YARN/Kubernetes多种资源管理器同时调度，保障历史作业安全迁移上云
Spark 自适应查询引擎（AQE）及 Kyuubi AQE plus，提供澎湃动力

构建统一数据湖探索分析管理平台

支持 Spark 所有官方数据源及第三方数据源
支持 Spark DSv2 元数据管理，直观进行数据湖构建及管理
支持 Apache Iceberg/Hudi, DeltaLake等所有主流数据湖框架
一个接口一个引擎一份数据，提供统一的分析查询、数据摄取、数据湖管理平台
批流一体，支持流式作业（Upcoming）

致谢

Kyuubi的成长和发展，尤其是进入Apache基金会孵化器，得到了来自各个组织的广大开源热爱者、贡献者以及终端用户的支持。

在此，特别感谢给Kyuubi提供指导的Champion和Mentors：姜宁 Willem Ning Jiang 、章剑锋 Jeff Zhang、张铎 Duo Zhang、Akira Ajisaka。此外，也感谢提出issue和建议的伙伴们，以及国内外数十家企业用户的贡献与支持。

很高兴Kyuubi项目得到Apache基金会的认可。Kyuubi项目作为网易数帆‘人人用数据，天天用数据’理念的支撑技术，以及打造统一云原生操作系统的重要组件，我们把它捐献给Apache基金会，回馈社区，为普惠大数据贡献我们的力量。未来，网易数帆会在面向企业数字化的基础软件领域，和各个开源社区进行更加广泛和密切的合作。

——网易副总裁汪源