Flink实战实例（六）: Flink Kafka Connector 与 Exactly Once 剖析

王知无(import_bigdata)

已于 2022-06-30 21:59:33 修改

阅读量653

点赞数

分类专栏： Flink系统性学习专栏文章标签： kafka flink 大数据

于 2021-01-19 19:05:20 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/112849975

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 104 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink Kafka Connector的使用，包括版本依赖和基本使用方法。重点探讨了Flink如何借助Kafka的事务支持和Checkpoint机制实现端到端的Exactly-once容错。详细阐述了Flink Kafka Consumer和Producer在运行时和故障恢复时的处理流程，解释了如何通过Kafka的元数据、offset管理和状态持久化确保数据准确性。

摘要由CSDN通过智能技术生成

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。

1.Flink Kafka 的使用

在 Flink 中使用 Kafka Connector 时需要依赖 Kafka 的版本，Flink 针对不同的 Kafka 版本提供了对应的 Connector 实现。

1.1 版本依赖

既然 Flink 对不同版本的 Kafka 有不同实现，在使用时需要注意区分，根据使用环境引入正确的依赖关系。

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>${flink_kafka_connector_version}</artifactId>
  <version>${flink_version}</version>
</dependency>

在上面的依赖配置中 ${flink_version} 指使用 Flink 的版本，${fl