flink实战--如何自定义具有Exactly-Once语义的sink（TwoPhaseCommitSinkFunction）

最新推荐文章于 2023-12-20 12:07:46 发布
最新推荐文章于 2023-12-20 12:07:46 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： Flink学习必读系列 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/105528406
版权
本文深入探讨了Flink如何实现Exactly-Once语义，主要介绍两阶段提交（TwoPhaseCommitSinkFunction）的原理和流程。内容包括预提交阶段、提交事务、预提交结束后的checkpoint回调以及数据源和数据输出端的角色。通过自定义mysqlSink的案例，展示了如何在Flink中实现Exactly-Once语义。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Exactly-Once 语义

           exactly-once语义指的是每个输入的事件只影响最终结果一次。即使机器或软件出现故障，既没有重复数据，也不会丢数据。分布式系统都是关于取舍平衡，基本上存在三种类型的传递语义：最多一次at-most-once，至少一次at-least-once和正好一次exactly-once。其中正好一次exactly-once实现最为困难，本篇文章详细介绍一下flink如何实现exactly-once语义。

Flink一次性语义实现原理

           说到flink的Exactly-Once，要区分实现的范围。在 Flink 1.4.0 之前，Exactly-Once 语义仅限于 Flink 应用程序内部，并没有扩展到 Flink 数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
两阶段提交实现分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-28 587
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 一、TwoPhaseCommitSinkFunction TwoPhaseCommitSinkFunction是一个抽象类，继承RichSinkFunction，实现CheckpointedFunction与CheckpointListener接口。抽象出了以下四个方法： 1.beginTrans
flink-training-exercises
04-23
- **Exactly-once语义**：Flink保证即使在故障情况下也能提供精确一次的状态一致性。 5. **检查点和保存点**： - **Checkpointing**：定期保存运行状态，用于故障恢复，确保一致性。 - **Savepoints**：更灵活的...
JdbcSink 简析
不甚了然的博客
07-25 3039
1、JdbcSink 用于DataStream增加Jdbc的Sink输出，主要两个接口：sink()和exactlyOnceSink()。其中exactlyOnceSink()是13版本新增的支持事务性的接口，本次主要介绍sink()接口。 public static SinkFunction sink( String sql, JdbcStatementBuilder statementBuilder, JdbcExecutionOptions executionOptions, JdbcConnect
flink jdbc实战
DogTips的博客
09-23 242
flink jdbc 实战
Flink JDBCSink使用及源码解析
热门推荐
upupfeng的博客
02-28 1万+
以下所有都是基于Flink 1.12.0版本 Flink JDBCSink的使用 flink提供了JDBCSink方便我们写入数据库，以下是使用案例： pom依赖 需要引入flink-connector-jdbc的依赖。另外，我这里是写入mysql，所以还引入了mysql的驱动包 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2
Flink JdbcSink.sink源码解析及常见问题
南风知我意
06-23 1674
Flink JdbcSink.sink源码解析及常见问题
flink1.8-analyse:flink1.8源码分析
03-23
Flink 1.8版本已经实现了端到端的Exactly-once语义，这涉及到对状态管理和检查点机制的优化。通过源码，我们可以看到它是如何保证数据处理的一致性的。 10. **源码调试与开发实践** 分析源码不仅仅是理论研究，更...
项目7-Flink-高级特性和新特性1
08-08
**端对端一次性语义（End-to-end Exactly-once Semantics）**\n - 这是Flink的核心特性之一，保证了在出现故障时，程序的执行结果能够保持一致性，如同在没有故障的情况下运行一样。这在需要高精度结果的场景中尤其...
flink-training
03-10
6. **容错与一致性**：Flink的检查点和保存点机制可以实现Exactly-once语义，确保数据处理的正确性。 7. **Flink SQL**：通过Table & SQL API，开发者可以用SQL编写流处理程序，这对熟悉SQL的开发者来说非常友好。 ...
flink-template:flink代码模板
04-08
4. **恰好一次（Exactly-once）语义**：Flink通过检查点和保存点机制，实现了在故障恢复时数据处理的精确性。 三、Flink Java API Flink的Java API为开发者提供了丰富的接口来构建数据处理作业。主要组件包括： 1...
Flink Redis Sink用法与支持过期时间的改进（转载）
yilu_beiyu的博客
10-13 937
Flink默认提供了很多开箱即用的连接器，比如与Kafka、RabbitMQ、HDFS、ElasticSearch等对接的连接器。还有一些不那么常用的连接器则由Apache Bahir项目（官网很简陋，见这里）来提供，其中就包含Redis Sink。这个项目的文档有点缺乏，本文先记录一下用法。 引入如下Maven依赖。目前bahir-flink项目比较停滞，最新版本是1.1-SNAPSHOT。 <dependency> <groupId>org.apa.
使用FLink提供的类JdbcSink将数据写入Clickhouse
Asunakiritolove的博客
03-20 3136
//TODO 获取jdbcSink的工具类 将数据写入Clickhouse public class clickHouseUtil { public static <T>SinkFunction<T> getJdbcSink(String sql){ SinkFunction<T> jdbcSink = JdbcSink.<T>sink(sql, new JdbcStatementBuilder<T>() { .
Flink系列之：Apache Kafka SQL 连接器
最新发布
zhengzaifeidelushang的博客
12-20 1395
例如在 SQL client JAR 中，Kafka client 依赖被重置在了 org.apache.flink.kafka.shaded.org.apache.kafka 路径下， 因此 plain 登录模块的类路径应写为 org.apache.flink.kafka.shaded.org.apache.kafka.common.security.plain.PlainLoginModule。由于 Kafka 消息中消息键是可选的，以下语句将使用消息体格式读取和写入消息，但不使用消息键格式。
Flink使用指南：TwoPhaseCommitSinkFunction实现二阶段提交保证数据一致性
徐腾瑞的博客
08-18 4409
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 1. 原理思想 Flink自带的TwoPhaseCommitSinkFunction可以实现2pc提交方式保证数据一致性，我们先来看下实现这个类的方法： 2pc提...
flink-sql所有表连接器-1.13
第一片心意的博客
08-02 1918
本文基于 flink 官网翻译整理，基于1.13版本，内容十分全面
Flink Exactly-Once 投递实现浅析
SmartSi
07-21 313
Exactly-once是实时系统最为关键的准确性要求，也是当前限制大部分分布式实时系统应用到准确性要求更高的业务场景（比如在线事务处理OLTP）的问题之一。目前来说流式计算的exactly-once在理论上已经有了很大的突破，而Flink社区也在积极汲取最先进的思想和实践经验。随着Flink在exactly-once上的技术愈发成熟，结合Flink本身的流处理特性，相信在不远的将来，除了构造数据分析、数据管道应用，Flink也可以在微服务领域占有一席之地。...
Flink端对端的仅一次语义
qq_40870024的博客
12-07 1867
数据处理语义的概念 **批处理：**批处理任务失败，支持replay重跑就可 **流处理：**需要机制能够保证任务出错或数据出错时能够保证数据是正确有效的。 批注 数据出现故障了(计算错误),还能进行恢复并重新计算,保证数据有效处理一次.在计算时:比如1+2+3+4+,在+5的时候报错,恢复后重新从+5开始计算,所以我们需要把中间结果通过checkpoint存起来在写出端,出现写入错误,重写时会出现重复,需要幂等写入或事务机制 数据处理语义的分类 At-least-Once 至少一次语义，允许重复 At-M
【flink sql】kafka连接器
fuyun6363的博客
03-23 2578
R/W 列定义了一个元数据是可读的（R）还是可写的（W）。只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。连接器可以读出消息格式的元数据。格式元数据的配置键以 ‘value.’ 作为前缀。Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。以下的连接器元数据可以在表定义中通过元数据列的形式获取。这篇博客聊聊怎么通过flink sql连接kafka。如果元数据名称和字段名称是一致的，可以省略。
flink数据sink入mysql（exactly-once）
weixin_44990574的博客
08-11 3813
flink消费数据sink入mysql，exactly-once事务模式
Flink深度指南：配置、原理与实战应用
6. **有状态的流处理**：解释了checkpoint机制如何确保exactly-once语义，以及保存点用于状态版本控制的作用。 7. **批处理操作**：介绍Flink在批处理任务上的处理能力，包括任务与运算链、JobManager、TaskManager...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值