对于flink-kafka-connector精确一致性的理解

源码解读系列,讲了很多关于Flink Kafka的源码,今天看到一段代码时,突然对Flink Kafka精确一次性有了更多的了解。代码如下:

protected void partitionConsumerRecordsHandler(
		List<ConsumerRecord<byte[], byte[]>> partitionRecords,
		KafkaTopicPartitionState<T, TopicPartition> partition) throws Exception {

	for (ConsumerRecord<byte[], byte[]> record : partitionRecords) {
		deserializer.deserialize(record, kafkaCollector);

		// emit the actual records. this also updates offset state atomically and emits
		// watermarks
		emitRecordsWithTimestamps(
			kafkaCollector.getRecords(),
			partition,
			record.offset(),
			record.timestamp());

		if (kafkaCollector.isEndOfStreamSignalled()) {
			// end of stream signaled
			running = false;
			break;
		}
	}
}



protected void emitRecordsWithTimestamps(
		Queue<T> records,
		KafkaTopicPartitionState<T, KPH> partitionState,
		long offset,
		long kafkaEventTimestamp) {
	// emit the records, u
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱,希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值