flink的精确一次的实现原理

已于 2022-02-04 23:12:41 修改
阅读量4.5k 收藏 17
点赞数 6
分类专栏： Flink 文章标签： flink
于 2021-09-18 22:29:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43662627/article/details/120374325
版权

flink的精确一次性需要有以下保证：
在这里插入图片描述

一 checkpoint

checkpoint是flink实现的精确一次性的保证，checkpoint的原理其实与flink
的watermark是相似的，简而言之是一定时间后触发操作，进行状态的保存，在所有任务保存完毕后，向JobManager提示检查点保存工作完成。
在这里插入图片描述
一旦flink执行出错，可根据检查点重启，尽快恢复工作
在这里插入图片描述

二 source端是可重放的

根据检查点机制只能恢复到上一个状态，但如果新的数据是不可重放的，意味着任务失败前，上一个检查点的状态的数据会丢失，如kafka这些

三 保证Sink的写入不会重复

防止Sink写入重复的数据，Sink执行可考虑使用事务机制，具体的一般有两种方法：
一 wal(预写日志）
在这里插入图片描述
但无法保证不会写入重复数据，如sink写入外部的数据库中途失败，重新执行时，会重新写入失败前的数据，

二两段提交

真正实现了精确一次性

在这里插入图片描述

Drgom
关注
专栏目录
大数据Flink（四十四）：​​​​​​扩展阅读 End-to-End Exactly-Once
Lansonli（蓝深李）的博客
05-11 1349
流数据处理的容错语义:At most once --最多一次, 也就是说数据最多被处理一次,有可能会丢失At least once --至少一次, 也就是说数据至少会被处理一次,有可能会重复Exactly-Once --精准一次, 也就是说数据只会被处理一次,不会丢也不会重复,注意: ==更准确的理解应该是只会被正确处理一次而不是仅一次==
95-241-100-源码-Flink语义-Flink的exectly-once系列之两阶段提交概述
九师兄
07-01 776
1.世界 3.处理语义 关于消息的消费、处理语义可以分为三类： at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能 exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次 at least once ：至少一次，表示一条消息从消费到后续的处理成功，可能会发生多次 4.exectly once语义 ​ 在我们程序处理中通常要求能够满足exectly once语义，保证数据的准确性，flink
【Flink】（九）状态一致性、端到端的精确一次(1)，开发8年的老大数据开发才知道
2401_84181626的博客
04-17 821
为了保证 exactly-once，这些系统无法单独地对每条记录运用应用逻辑，而是同时处理多条(一批)记录，保证对每一批的处理要么全部成功，要么全部失败。我们知道，端到端的状态一致性的实现，需要每一个组件都实现，对于 Flink + Kafka 的数据管道系统（Kafka 进、Kafka 出）而言，各组件怎样保证 exactly-once语义呢？需要构建事务来写入外部系统，构建的事务对应着 checkpoint，等到 checkpoint 真正完成的时候，才把所有对应的结果写入 sink 系统中。
在 Flink 中，水位线（Watermark）是一个非常重要的概念，它用于处理时间相关的操作，尤其是在事件时间（event time）语义下
最新发布
靡不有初，鲜克有终
07-20 177
事件 C 的时间戳大于水位线，但因为它的到达时间是在水位线生成之后，所以它会被缓存起来，直到水位线推进到 15 或更高。2. **指定延迟的水位线**：允许指定一个延迟阈值，Flink 会生成一个表示最大延迟的水位线。水位线是 Flink 流处理中的关键组件，它使得 Flink 能够有效地处理时间相关的操作，即使在面对乱序和延迟的事件流时也能保持正确的处理结果。- **乱序和延迟容忍**：水位线允许 Flink 容忍一定程度的乱序和延迟，使得流处理更加健壮。
Flink的端对端精准一次处理（Exactly-Once）
落幕7的博客
11-27 3453
端对端精准一次处理 Two-Phase Commit(两阶段提交协议)两阶段提交Flink中应用
【Flink】状态一致性、端到端的精确一次（ecactly-once）保证
mojolang
12-22 1704
核心提示：当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是正确性级别的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？后端 写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[ 云之祁祁，或雨于渊 ]，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面..
【Flink】Flink 和 Kafka 连接时的精确一次保证
qq_43744420的博客
08-16 1955
【Flink】Flink 和 Kafka 连接时的精确一次保证
第十四篇：Flink Exactly-once 实现原理解析
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 410
你好，欢迎来到第 14 课时，这一课时我们将讲解 Flink “精确一次”的语义实现原理，同时这也是面试的必考点。 Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 那么 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 背景 通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障。一般来说，流处理引擎通常为用户的应用程序提供三种数据处理语义
Flink Exactly-once实现原理解析
微信搜：import_bigdata，大数据领域硬核原创作者
01-17 818
声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。 《2021年最新版大数据面试题全面开启更新》 Flink Exactly-once实现原理解析 Flink的“精准一次”处理语意是，Flink提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用生产的效果只有一次，不会多也不会少。 Flink是如何实现“端到端的精确一次处理”语义的呢？ 背景 通常情况下，流式计算系统都会为用户提供数据处理的可靠模式功能，用来表明在
Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性
2301_77033583的博客
04-29 1551
检查点保存的启动，标志着我们进入了两阶段提交协议的“预提交”阶段。但此时现在还没有具体提交的数据。jobManager 通知各个 TaskManager 启动检查点保存，Source 任务会将检查点分界线（barrier）注入数据流。这个 barrier 可以将数据流中的数据，分为进入当前检查点的集合和进入下一个检查点的集合。
Flink生产---14Exactly-once 实现原理解析
weixin_42642502的博客
06-06 1395
Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障。一般来说，流处理引擎通常为用户的应用程序提供三种数据处理语义：最多一次、至少一次和精确一次。 1最多一次（At-most-Once）：这种语义理解起来很简单，用户的数据只会被处理一次，不管
Flink1.12-2021黑马 8 Flink高级特性和新特性
紫蝶侠的博客
03-21 1617
8.Flink高级特性和新特性 课程目标 掌握使用Flink-BroadcastState实现配置动态更新 了解端对端一次性语义 了解异步IO 了解Streaming file sink的使用 掌握FileSink的使用 掌握FlinkSQL整合Hive https://developer.aliyun.com/article/780123?spm=a2c6h.12873581.0.0.1e3e46ccbYFFrC 1. BroadcastState（状态广播） 1.1 BroadcastSt
Flink借助Kafka实现端到端精准一次
qq_43147161的博客
04-18 2809
Flink结束Kafka实现端到端精准一次，包含检查点，保存点，状态后端的概念
flink 端到端的 exactly-once(精确一次)
u013939918的博客
04-15 539
从source 到 flink的exactly-once 文章很多自己看。 问题来源于群里一个人的提问。 flink运算结果在落地的时候怎么保证exactly-once。 目前两种方式， 1、一种是利用幂等性。 举例说明，假设现在 要把mysql的数据同步到oracle。有Insert记录和update记录。怎么保证oracle中结果是正确的 。oracle中加一个主键。那么多次Ins...
硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）
jin6872115的博客
08-17 715
Source 端的精准一次处理比较简单，毕竟数据是落到 Flink 中，所以 Flink 只需要保存消费数据的偏移量即可， 如消费 Kafka 中的数据，Flink 将 Kafka Consumer 作为 Source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性。：这个我们已经了解，利用 Checkpoint 机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性。这确保了出现故障或崩溃时这些写入操作能够被回滚。...
Flink端到端的精确一次（Exactly-Once）
大头皮鞋的博客
06-04 2484
Flink端到端的精确一次。
flinksql 更改并发度的情况下，如何保证精准一次
wppwpp1的专栏
03-08 448
一个任务发现延迟，并且 每个subtask的延迟程度不同 假设source(kafka/sls)有 30个subtask，最慢的延迟1小时，最快的延迟5分钟，作业消费方式是timestamp，且此时需要修改有状态的并行度(即无法通过暂停恢复)，下游存储没法update(kafka/odps这类)，那 这个作业要如何操作才能在调整资源停止作业重新启动的同时保证下游收到的结果准确。 1、把timestamp的方式更改成groupid方式（核心要保证groupid不和其他应用共用），并点击上线 2、点击.
Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性(1)
2401_84160361的博客
04-15 1059
那么在检查点保存的时候，系统故障，保存检查点失败，那么恢复检查点的时候，恢复的是上次成功保存检查点的数据偏移量，如果不对新数据进行保护，可能就会把之前有可能。
Flink实时计算引擎：超越Storm与SparkStreaming的优势解析
Storm虽然提供了低延迟处理，但未能实现高吞吐和精确一次(exactly-once)的状态处理。SparkStreaming依赖微批处理，牺牲了实时性和对自然时间窗口的精确匹配。Flink则弥补了这些不足，它不仅支持高吞吐实时计算和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值