flink kafka 保证 Exactly Once 语义

最新推荐文章于 2022-10-13 11:49:11 发布
最新推荐文章于 2022-10-13 11:49:11 发布
阅读量425 收藏 2
点赞数
分类专栏： flink 消息队列 文章标签： flink kafka exactly once
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JackLi31742/article/details/102092058
版权

flink 通过checkpoint机制来定期保存计算任务的快照，包含两个重要的参数：
1、整个计算任务的状态，
2、数据源的位置信息，比如kafka的offset

flink通过数据流中插入一个barrier（屏障）来确保checkpoint中的位置和状态完全对应

在这里插入图片描述

kafka的exactly once语义通过事务和生产幂等共同实现

端到端的exactly once指的是数据从kafka的A主题消费，发送给flink的计算集群进行计算，计算结果再发送给kafka的B主题。

每个flink的checkpoint对应一个kafka的事务，flink在创建一个checkpoint时，同时开启kafka的事务，完成checkpoint的同时提交kafka事务，这个操作通过flink分布式事务控制器解决

JackLi_csdn
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink 整合 Kafka (实现 Exactly-Once)
扛麻袋的少年的博客
02-17 4364
Flink学习笔记(二十三)：Flink 整合 Kafka 基本步骤，请参考：Flink 基础整合 Kafka。本文仅用来介绍 Flink 整合 Kafka 实现 Exactly-Once。 1.什么是Exactly-Once        恰好处理一次的意思。不...
Flink Kafka数据批量写入到数据库
最新发布
03-06
此外，还可以使用 Kafka 的事务特性来实现 exactly-once 语义，这需要 Flink 和 Kafka 配合使用，确保在异常情况下数据不丢失且不重复写入。总的来说，Flink 和 Kafka 的结合，为实时数据处理和数据库批量写入提供了...
Flink+Kafka如何实现端到端的exactly-once语义
shkstart的博客
06-27 413
我们知道，端到端的状态一致性的实现，需要每一个组件都实现，对于Flink + Kafka的数据管道系统（Kafka进、Kafka出）而言，各组件怎样保证exactly-once语义呢？ 内部 —— 利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性 source —— kafka consumer作为source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性 sink —— kafka producer作为si
flink读写kafka保证端到端exactly-once
yiweiyi329的博客
10-13 1730
flink读写kafka保证exactly-once
Flink在kafka中Exactly-Once原理解说
北京小辉
09-19 3236
翻译来源：Apache Flink中的端到端完全一次处理概述（与Apache Kafka一样！） Apache Flink中的端到端完全一次处理概述（与Apache Kafka一样！） 2018年3月1日Piotr Nowojski（@PiotrNowojski）和Mike Winters（@wints） 这篇文章改编自2010年Flink Forward Berlin的Piotr Nowojsk...
spark/flink + kafka 是如何做到 exactly once的？
fenglei0415的博客
04-09 1946
端到端Exactly Once的含义就是：Source的每条数据会被处理有且仅有一次，并且输出到Sink中的结果不重不丢。 Flink和Spark structure streaming能否做到端到端的exactly once？是可以的。由于原理类似，接下来拿spark举例分析一下。 kafka有关详细内容请看： KIP-98 - Exactly Once Delivery and Transactional Messaging - Apache Kafka - Apache Software Fou
Flink读取Kafka数据保存到Redis的解决方案教程
06-15
并且秒级别的实时处理可以满足需求的话，建议使用sparkStreaming5：要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或窗口统计的场景，建议使用flink 针对以上知识...
flink-lib.zip
03-11
- **Exactly-once语义**：Flink与Kafka结合，可以实现端到端的Exactly-once语义，确保数据处理的精确无误。 3. **库文件列表中的"lib"**： - `lib`目录下的文件是上述功能实现的关键。这些JAR文件包含了Flink、...
kafka 插件kafka 插件kafka 插件
06-26
应调整配置以确保At-Least-Once或Exactly-Once语义。 - **性能瓶颈**: 如果发现Kafka集群性能下降，可以优化配置，如增加副本数、调整分区策略、提升硬件资源等。 - **数据一致性**: 确保跨多个分区和副本的数据一致...
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **容错机制**：Flink的Exactly-once语义在1.16.2中可能更加成熟，保证在故障后恢复时结果的准确性。 4. **安装与配置** - **解压**：首先，需要将`flink-1.16.2-bin-scala_2.12.zip`文件解压缩到本地目录。 - ...
Flink基于kafka的 Exactly-Once
Baron_ND的博客
06-11 701
Apache Flink 自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunction（相关的 Jira）。它提取了两阶段提交协议的通用逻辑，使得通过 Flink 来构建端到端的 Exactly-Once 程序成为可能。同时支持一些数据源（source）和输出端（sink），包括 Apache Kafka 0.11及更高版本。它提供了一个抽象层，用户只需要实现少数方法就能实现端到端的 Exactly-Once 语义。 本文作者是 P
Flink的exactly-once语义
07-04 610
已迁移。
Flink保证端到端exactly-once语义(也适用于kafka)
huzechen的博客
04-17 932
作者：Moon_Storm 链接：https://www.jianshu.com/p/9d875f6e54f2 英文链接：https://flink.apache.org/feature...
干货:Flink+Kafka 0.11端到端精确一次处理语义实现
大数据星球-浪尖
08-03 8739
实时处理里消息的仅一次处理是大家关注的重点吧，前面浪尖分享过一篇对比spark streaming 和 flink的文章 <Spark Streaming VS F...
【Flink实战系列】Flink 是如何实现 exactly-once 语义的
JasonLee实时计算
01-12 9526
Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置(即是偏移量),并保存offest,这时offest也可以理解为是一种状态. Flink是怎么保证...
原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理
weixin_34221112的博客
05-29 327
文章目录： Apache Flink 应用程序中的 Exactly-Once 语义 Flink 应用程序端到端的 Exactly-Once 语义 示例 Flink 应用程序启动预提交阶段 在 Flink 中实现两阶段提交 Operator 总结 Apache Flink 自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunc...
Flink + Kafka怎样保证exactly-once
mischen520的博客
07-01 285
内部 —— 利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性 source —— kafka consumer作为source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性 sink —— kafka producer作为sink，采用两阶段提交 sink，需要实现一个 TwoPhaseCommitSinkFunction 内部的checkpoint机制我们已经有了了解，那source和sink具体又是怎样
 Flink+Kafka如何实现端到端的exactly-once语义
qq_34158117的博客
08-07 800
Flink+Kafka如何实现端到端的exactly-once语义 我们知道，端到端的状态一致性的实现，需要每一个组件都实现，对于Flink + Kafka的数据管道系统（Kafka进、Kafka出）而言，各组件怎样保证exactly-once语义呢？ 内部 —— 利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性 source —— kafka consumer作为source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新.
【Flink基础】-- 写入 Kafka 的两种方式
欢迎来到我的博客，一起探索代码里的世界！
04-20 3986
方式一：用 Robin 的方式写入 Kafka 1、实现 exactly-once 语义的 kafka sink，用 Robin 的方式写入 Kafka 2、randomRobin: 创建 FlinkKafkaProducer 时，指定空的 customPartitioner，flink 会把 一个 sink subtask 的数据以 round-robin 方式写入 kafka 的各个分区 ...
flink kafka exactly once 代码
04-23
对于Flink的Kafka消费者，可以使用以下代码实现exactly-once语义： 1. 在Flink环境中创建Kafka消费者时，需要使用 KafkaFlinkKryoSerializer 序列化器。 2. 设置ProducerRecordSemantic.EXACTLY_ONCE语义，这样Flink就会使用Kafka事务来确保数据仅被处理一次。 下面是示例代码： ``` import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer; import org.apache.flink.streaming.util.serialization.KafkaTuple2KryoSerializer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class FlinkKafkaExactlyOnce { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE); Properties kafkaProps = new Properties(); kafkaProps.setProperty("bootstrap.servers", "localhost:9092"); kafkaProps.setProperty("group.id", "flink-group"); kafkaProps.setProperty("enable.auto.commit", "false"); kafkaProps.setProperty("auto.offset.reset", "earliest"); kafkaProps.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); kafkaProps.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); kafkaProps.setProperty(ConsumerConfig.ISOLATION_LEVEL_CONFIG, "read_committed"); Properties producerProps = new Properties(); producerProps.setProperty("bootstrap.servers", "localhost:9092"); producerProps.setProperty(ProducerConfig.RETRIES_CONFIG, "3"); producerProps.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); producerProps.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); producerProps.setProperty(FlinkKafkaProducer.TRANSACTION_TIMEOUT_TIMER_INTERVAL_MS, "600000"); FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("input_topic", new SimpleStringSchema(), kafkaProps); consumer.setStartFromEarliest(); consumer.setCommitOffsetsOnCheckpoints(true); FlinkKafkaProducer<String> producer = new FlinkKafkaProducer<>("output_topic", new SimpleStringSchema(), producerProps, FlinkKafkaProducer.Semantic.EXACTLY_ONCE); env .addSource(consumer) .map(String::toLowerCase) .addSink(producer); env.execute(); } } ``` 在此代码中，我们使用 KafkaTuple2KryoSerializer 序列化器和 ProducerRecordSemantic.EXACTLY_ONCE语义来确保消费数据和生产数据仅处理一次。同时，我们还使用 FlinkKafkaProducer.TRANSACTION_TIMEOUT_TIMER_INTERVAL_MS 属性来延长事务生命周期，以便可以增加提交事务的成功率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值