官宣：Apache Celeborn 顺利毕业，成为 Apache 顶级项目！

2024年4月23日，Apache 软件基金会（ASF）官方宣布 Apache Celeborn 顺利毕业，成为顶级项目（TLP, Top Level Project）：

（Apache 官网部分截图）

关于 Apache Celeborn

Apache Celeborn 源于阿里云自研的 EMR Remote Shuffle Service，旨在解决大数据引擎处理中间数据遇到的性能、稳定性及弹性问题。于 2022年10月 正式捐献给全球顶级开源社区 Apache 软件基金会（ASF），对外开源版本的名称为 Apache Celeborn，成为 ASF 孵化级项目。

自开源以来，Apache Celeborn 通过改善引擎的性能、增强稳定性及对引擎资源弹性的支持等被越来越多的用户认可和使用，经过一年多的孵化，Apache Celeborn 开发者数量达到 80+，在 GitHub 上收获了700+Stars，社区持续活跃，并被 Shopee、网易、小米、小红书、B站、携程、知乎、BIGO 等头部企业广泛使用并对该项目进行持续贡献，覆盖了互联网、电商、文娱等多个行业。鉴于 Apache Celeborn 社区各项指标发展良好，项目已经趋于成熟， Apache Celeborn 顺利通过 ASF 项目管理委员会的评估和投票，毕业为 Apache 软件基金会顶级项目。

毕业寄语 (按姓氏字母排序)

祝贺 Apache Celeborn 毕业！作为首批大规模采用 Celeborn 作为 Spark Remote Shuffle Service 的企业之一，B站一直保持着和社区的深度合作，参与和见证了 Celeborn 如何以创新之力重塑大数据计算的效率边界，有力支撑了我们的海量数据处理和分析。在此，衷心祝愿 Apache Celeborn 项目和社区发展越来越好, 不断优化性能，扩展功能，适应更广泛、更复杂的应用场景，持续赋能企业与开发者!

— 陈昱康，哔哩哔哩大数据架构团队负责人

祝贺 Celeborn 成功晋升为 Apache 顶级项目。自从我第一次加入社区以来已经快一年了，见证这个项目的快速发展和在各个公司中的广泛采用是一种乐趣。在过去的十年中，整个行业都深受 Apache 开源项目的深刻影响，我相信 Celeborn 将会是下一个。

— 房明，Engineer @支付宝

祝贺 Apache Celeborn 成功晋级为 Apache 基金会的顶级项目，这是一个值得庆祝的重要时刻。毕业不仅是一个成就，更是一个新的起点。我们期待着 Apache Celeborn 社区能够继续秉承 Apache Way 的精神，保持开放友好的文化，吸引更多的开发者加入其中。期待 Apache Celeborn 在数据计算领域持续创新，为更多的用户提供云原生解决方案，助力用户成功。

— 季钱飞，Director of BigData Infra @小红书

Celeborn 具备优秀的性能和稳定性，在同类的 RSS 产品中脱颖而出，极大的改善了我们的集群作业的稳定性。恭喜 Celeborn 从 Apache 孵化器毕业，这是社区一个重要的里程碑，也是一个全新的开始！

— 贾承昆，知乎数据平台负责人

祝贺Apache Celeborn从Apache孵化器顺利毕业！这一重要时刻不仅代表了 Celeborn 社区所有贡献者的努力和承诺，也象征着 Apache 社区对 Celeborn 项目的认可和支持。Apache Celeborn 的一路成长历程，高度体现了 Apache 社区的价值观，坚持开放、透明、共享的精神，不断创新、不断超越，为开源社区做出更多贡献，为用户提供更加优秀的产品和服务。毕业并不意味着终点，而是代表着新的篇章。我们希望 Apache Celeborn 继续保持发展和繁荣，致力于打造大数据计算引擎更加强大且可扩展的中间数据服务，达到性能和创新的新高度，持续增强对大数据处理领域的贡献，迈向更加辉煌的未来。我们代表中通快递公司在这里送上诚挚的祝愿，愿 Apache Celeborn 项目蓬勃发展，祝贺 Apache Celeborn 的顺利毕业，期待与 Apache Celeborn 一起迎接更多的成功。

— 蒋国友，中通快递数据智能部高级总监

恭喜 Apache Celeborn 投票通过毕业成为 Apache 顶级项目！Shuffle 中间数据服务是计算引擎的痛点和性能瓶颈，Celeborn 依靠接管中间数据，磁盘负载感知，双副本机制，支持 AQE，基于推送 Shuffle 服务，智能流控反压等方式解决计算节点有状态，稳定性和性能差等问题，大幅提高中间数据的流转效率。我在 B 站的 Celeborn 生产实践落地过程中，一路见证 Celeborn 社区的蓬勃发展，不断吸引诸多来自海内外的贡献者，共同打造统一的中间数据服务，赋能诸如 Spark，Flink，MapReduce 等计算引擎提升稳定性以及性能。衷心祝愿 Celeborn 社区更多元化，打磨 Remote Shuffle Service 事实标杆，提供更多国内外企业助推海量中间数据处理效率。

— 蒋晓峰，Apache Celeborn Committer
哔哩哔哩资深开发工程师

恭喜 Celeborn 从 Apache Incubator 顺利毕业！非常开心见证了这一时刻。Celeborn 的出现很好地解决了中间数据流转效率的痛点，稳定且效果拔群。衷心祝愿社区越来越好，Celeborn 在未来的发展中取得更大的成功，越发快、稳、弹！

— 李宜核，Apache Celeborn Committer
Engineer @BIGO

衷心祝贺 Celeborn 社区成功晋升为 Apache 顶级项目！作为项目的孵化 Champion 和导师，看到 Celeborn 社区通过践行 Apache Way 的价值观，逐渐迈向繁荣与兴盛，我深感欣慰和骄傲。在孵化期间，Celeborn 展现了出色的创新能力，发布了多个功能强大且充满创意的版本，同时营造了一个充满活力和包容性的社区环境，吸引了众多新的贡献者加入。我坚信，Celeborn 社区将继续保持其独特的优势，不断攀登新的高峰，成为全球瞩目的明星项目，为推动大数据云原生技术的蓬勃发展做出卓越贡献。

— 李钰，ASF Member
阿里云 EMR 团队负责人

Celeborn 为我们在异构环境下实现在离线混布提供基础条件，帮助我们很好的实现了线上业务和大数据集群的联合调度和利用率提升，节省了很大的成本。不仅如此，能够为 Celeborn 的孵化，持续的改进，最终毕业贡献我们的力量，跟一群素未谋面的优秀的开发者一起合作，也能和一些前同事再续前缘，实际的参与到 Celeborn 的持续开发和迭代，是一次很好的经历。祝 Celeborn 持续进步，变得越来越好。

— 罗李，Director of Data Infra @Shopee

祝贺 Celeborn 在 ASF 顺利毕业成为 Apache Top Level Project， Celeborn 目前已经在阿里巴巴生产场景大量落地，并可以同时服务 Flink 和 Spark 计算集群，真正实现了统一大数据 Shuffle 服务，期待未来能够有更多开发者加入到 Celeborn 社区，并通过开源社区服务更多开发者。

— 王峰，阿里云开源大数据负责人

热烈祝贺 Apache Celeborn 项目成为 Apache 软件基金会的顶级项目！同时，也对 Apache Celeborn 团队及社区的所有参与者取得这一里程碑式的重大成就表示由衷的祝贺与敬意。Apache Celeborn 作为计算引擎 Remote Shuffle Service，实现了对 Spark 与 Flink 等主流计算框架的无缝支持，不仅显著提升了计算效率和稳定性，更为弹性计算奠定了坚实的基础。小米有幸自 Apache Celeborn 项目的早期阶段即成为忠实用户，一路相伴，不仅见证了 Apache Celeborn 的飞速成长，更是深度享受到其带来的显著效益，对此，我们深表感激。未来，小米将继续坚定不移地投身于 Apache Celeborn 社区的建设和发展，与 Apache Celeborn 社区深化合作、共建共享、共同推动 Apache Celeborn 向更高远的目标迈进。与此同时，我们真挚地祝福 Apache Celeborn 能够始终保持创新活力，勇攀开源技术的最高峰，续写新的辉煌篇章！

— 王胜杰，小米计算引擎 Tech Leader

热烈祝贺 Apache Celeborn 项目顺利完成孵化阶段，成功从 Apache 孵化器毕业！这一里程碑式的成就充分体现了 Celeborn 社区对 Apache Way 的深刻践行，以及对大数据领域持久探索的决心和贡献。这是一个新的起点，祝愿 Celeborn 项目越来越好，社区越来越多元！

— 姚琴，Spark Committer、Kyuubi VP
网易 Spark Leader

热烈祝贺 Celeborn 项目顺利毕业！BIGO大数据平台在 Gluten 项目中首次以列式 Shuffle 引入 Celeborn 作为Spark集群的 RSS，取得了优异效果，Celeborn 的稳定性和性能让人印象深刻，其维护团队的专业性也让人放心，预祝 Celeborn 项目未来发展越来越好!

— 张志彪，BIGO 大数据平台负责人

Apache Celeborn 是 Pinterest 新一代批量数据处理平台的基石。因为 Celeborn 的存在，我们使 Spark 作业在K8s上具备了根据需求动态获取资源的能力,从而大幅度减少基础设施及计算开销.同时，因为 Celeborn 卓越的性能，我们可以以相较其他方案更低的成本运维 Celeborn 集群，并在一些大规模 shuffle 的场景下取得了性能上的大幅提升! 在和 Celeborn 社区紧密合作的过程中，跨国度、公司、背景的和谐开发氛围以及社区成员深厚的技术功底，使得我们的合作卓有成效！祝愿 Celeborn 一如既往，越来越好!

— 朱楠，Engineer @Pinterest

   点击「阅读原文」，查看 Apache 官网完整资料～