对于flink-kafka-connector精确一致性的理解

本文通过源码解读,深入探讨了Flink Kafka Connector如何实现精确一致性。在每个并行度中,数据的读取和发送是同步的,通过在checkpoint中保存并更新offset确保状态。若在数据发送过程中任务失败,恢复时将从checkpoint的offset开始,可能导致数据重复。为实现端到端精确一致性,下游sink需具备事务或幂等性特性,以处理可能的重复数据。
摘要由CSDN通过智能技术生成

源码解读系列,讲了很多关于Flink Kafka的源码,今天看到一段代码时,突然对Flink Kafka精确一次性有了更多的了解。代码如下:

protected void partitionConsumerRecordsHandler(
		List<ConsumerRecord<byte[], byte[]>> partitionRecords,
		KafkaTopicPartitionState<T, TopicPartition> partition) throws Exception {

	for (ConsumerRecord<byte[], byte[]> record : partitionRecords) {
		deserializer.deserialize(record, kafkaCollector);

		// emit the actual records. this also updates offset state atomically and emits
		// watermarks
		emitRecordsWithTimestamps(
			kafkaCollector.getRecords(),
			partition,
			record.offset(),
			record.timestamp());

		if (kafkaCollector.isEndOfStreamSignalled()) {
			// end of stream signaled
			running = false;
			break;
		}
	
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱,希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值