两位新晋 Apache Flink Committer 的专访

最新推荐文章于 2024-07-31 15:31:24 发布

Apache Flink

最新推荐文章于 2024-07-31 15:31:24 发布

阅读量230

点赞数

文章标签： apache flink 大数据

原文链接：https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247508100&idx=1&sn=b1f9f4845fe6c8993f52b83139a28963&chksm=fd382ec6ca4fa7d0b816eab641e531ba76eede95e947865d52becd9127d1efc50fdb441fa352&scene=126&sessionid=0

版权

在软件开发的世界中，开源已成为普遍关注的话题。越来越多的企业和开发者认识到开源的重要性，并开始积极拥抱开源、贡献开源。自 2017 年开始，字节跳动流式计算团队开始尝试使用 Apache Flink 作为流式计算引擎，并逐步加大对开源社区的关注和投入。

近两个月来，团队方勇、胡伟华两位同学先后受邀成为 Apache Flink Committer。本文将对两位新晋 Committer 参与开源的心路历程进行专访。

我的开源参与之路

Apache Flink 是一个高性能的分布式计算框架，目前也已经是流式计算的事实标准，很大程度上推动了整个流式数据处理方面的发展。对于两位新晋 Committer 而言，Flink 在 Apache 中是不可忽视的明星项目。

作为一个非常活跃的社区，用户提出的问题很快就会获得解答（基本在一天内），用户体验非常友好。同时社区成员也非常专业，保证了 Flink 技术上的先进性。此外，Flink 也在流计算的基础上扩展广泛的应用场景，基于 Flink 的流批一体、OLAP、Streaming Warehouse 等都在字节有相应的落地。

Flink 是一款非常强大和灵活的计算引擎，字节跳动很多业务场景都是用 Flink 来支持。作为 Flink Runtime 研发工程师，随着我对这个项目了解的逐渐深入，我越来越感受到其设计理念的先进性，也萌发了积极回馈社区的想法。因此，我一方面订阅社区相关邮件，积极回答社区其他开发者的问题；另一方面致力于 Flink 的调度、资源管理领域，逐步将一些字节内部的优化经验分享回馈社区。

在参与社区的过程中，我主要对社区做出了以下几方面的贡献：

1. 积极回答用户的问题和疑惑，帮助他们更好地理解和使用 Flink；

2. 在 Flink 调度和资源管理方面，积极贡献代码，提升调度性能，减少维护成本。

随着持续参与社区，今年8月，我很荣幸受邀成为 Apache Flink Committer。

我现在在 Apache Flink 项目中的精力，主要集中在 Runtime Coordinator 相关工作。在这方面，字节跳动内部还有一些定制化开发，我们也会积极回馈到社区。在后续的 Feature 开发中，我们也会把合入社区放在重要位置考虑，积极贡献到社区中。

开始参与 Flink 社区贡献时，最大的挑战是寻找适合自己的 issue。最初我经常关注开发邮件组，接收到新的 issue 邮件时，会马上查看是否能够熟悉或解决较简单的问题。然后很快就会@社区的 PMC 或 Committer 帮忙分配。有时我也会浏览社区的 Jira 列表，查看哪些 issue 是我认为可以解决的，并将其加入我的 issue 列表中。在提交 PR 后，我会继续@可以帮忙 review 的人。有时候就在等待 CI 结果时，第二天就发现已经有 PMC 帮忙 Review 了，一看还是 Till 这些社区大咖。虽然那时候我和社区大佬们并不熟悉，但他们都非常友善，愿意接纳新人。随着在社区的不断积累，我对 Flink 系统的深入了解，会发现更多可以优化的 issue，同时也会提交 issue 甚至 FLIP，与更多志同道合的小伙伴一起交流。

在 Flink 社区项目中，我主要的投入是推动支持 Streaming Warehouse 相关 Feature ，包括 JDBC 和 Gateway 接入、Flink OLAP 相关 Feature 的实现。除了在研发方面，我也在社区各类邮件组的讨论和答疑中投入了不少精力，在这个过程可以和社区中不同国籍、不同公司、不同背景的同学有更好的沟通和交流，同时了解其他公司用户对 Flink 的使用方式和场景，将会对我们在后续的工作中有一定的启发。

除了Apache Flink 社区，我目前还在参与Apache Paimon 社区。目前我们团队除了鼓励大家参与 Apache 开源社区，将自己在内部解决的相关 issue 贡献到社区以外；也在和 Paimon 社区合作，推动 Streaming Warehouse 的数据血缘管理、流式计算回溯和订正、流批一体 ETL 一致性等方面的重大 Feature 开发。

参与开源也是“充电之旅”

胡伟华：

我一直认为参与开源社区对个人、团队、公司和社区都具有积极的影响：对个人而言，可以在与其他优秀成员讨论中提高技术水平，拓宽更多方案思路。对团队而言，可以促进创新和发展，避免闭门造车，尤其对字节跳动这样使用 Flink 引擎的团队，更需要深度参与社区。对公司而言，参与开源社区可以提高品牌形象和技术实力。而越多人参与社区，也越有利于社区的发展和用户问题的解决。

以我个人经历举例，在推动大作业的性能优化过程中，我们采用了批量部署方案，对 Flink 任务的部署流程进行了较大的改动。不过，经过与社区其他成员多次深入讨论后，我们决定将优化方向转为在 TaskManager 方面增加相关的缓存。这既能够实现优化目的，又能够大大简化对原有流程的修改。这让我深入了解了社区的工作方式，并感受到了社区力量的巨大。

参与开源让我在技术能力、思维扩展上都收获颇多。在技术方面，我可以向专业的 Committer、PMC 小伙伴学习到了很多，在一次次交流和严格 CodeReview 中收获了技术上的成长。在思维扩展上，我在回答社区用户提问的过程中看到更多的业务使用场景，扩展了我的思维。