Flink即将在1.7版本发布全新的Kafka连接器

最新推荐文章于 2024-12-24 13:48:31 发布

vinoYang

最新推荐文章于 2024-12-24 13:48:31 发布

阅读量1.1w

点赞数 6

分类专栏：【Flink】 Apache Flink 文章标签： Flink Kafka 大数据流计算实时计算

本文链接：https://blog.csdn.net/yanghua_kobe/article/details/83210897

版权

Apache Flink社区即将在1.7版本发布全新Kafka连接器，解决旧版连接器版本维护问题。新连接器仅支持最新Kafka客户端，提供更好的兼容性和功能支持，包括事务处理和Admin API适配，同时减少了级联依赖，提升性能和稳定性。

摘要由CSDN通过智能技术生成

最近我们向Flink社区贡献了一个全新的Kafka连接器（https://github.com/apache/flink/pull/6703），关联JIRA issue FLINK-9697。它包含了近6000行代码变更，经历了社区近100次的review讨论与评论。这一大特性即将会随Flink 1.7一起发布。这一特性也得到了一众Flink PMC的赞赏：

在这里插入图片描述

现状与问题

Apache Kafka作为开源界最流行的消息中间件之一，一直以来被广泛应用于很多大数据处理框架中。毫无疑问，Apache Flink作为新一代的大数据计算框架，也非常重视跟Kafka进行生态衔接。Flink所实现并推崇的端到端的“恰好一次”（Exactly-Once）的事件处理语义的典型场景就是配合Kafka来实现的，由此可见Kafka在Flink的上下游生态中占有着非常重要的地位。

从Kafka 0.8版本开始，Flink都以Kafka client的版本为依据，为不同的Kafka client提供特定的connector。在现有的代码库中，有针对Kafka client 0.8, 0.9, 0.10, 0.11这些版本的连接器。如下图所示：