Flink CDC 2.1.0关于checkpoint恢复的问题。

VIP文章 已于 2022-03-14 18:28:56 修改
阅读量6.3k 收藏 6
点赞数
分类专栏： Flink CDC 文章标签： Flink CDC cdc 2.1.0
于 2021-12-08 14:37:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31866793/article/details/121790811
版权

目前遇到的问题是：

任务A：a表，b表写入下游。

取消任务

在代码中添加c表，通过checkpoint恢复。

任务失败。

原因不支持checkpoint恢复任务动态添加新表。

官方issue：

https://github.com/ververica/flink-cdc-connectors/issues?q=checkpoint

希望做到动态增加database，这边当前的修改：
通过修改Flink CDC Source的 DebeziumSourceFunction从checkpoint的恢复逻辑，在从checkpoint恢复时，只恢复offsetState信息，restoreHistoryRecordsState()时，将historyRecords置空。

之前 dblist中仅包含 db1，现在新增加d

最低0.47元/天 解锁文章
黄瓜炖啤酒鸭
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Debezium报错处理系列十一：Data row is smaller than a column index, internal schema representation is probabl
zhengzaifeidelushang的博客
03-28 3147
Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 CheckPoint 中途数据不被删除        如果现在有个任务已经执行很长时间，这样就突然停止了，那么中间过程处理结果全丢了，重启后重跑岂不很浪费时间。这样显然是不行的，所以我们可以通过以下设置来保存任务处理中途的 CheckPoint 数据的（如果不设置，任务停止后CheckPoint数据会自动删除）。 //系统
Flink——Flink检查点（checkpoint）、保存点（savepoint）的区别与联系
kennyharris
09-20 956
flinkcdc
大数据技术之 Flink-CDC
骚戴的博客
03-13 6369
大数据技术之 Flink-CDC
DEBEZIUM启动出错
cainiao1412的博客
08-31 2322
这种错误将 debezium props 配置中的 snapshot.mode 设置为 schema_only_recovery。
全面讲解Flink中CheckPoint机制和Exactly Once / At Least Once应用
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
03-10 4325
看完本文，你能 get 到以下知识： 介绍 CheckPoint 如何保障 Flink 任务的高可用 CheckPoint 中的状态简介 如何实现全域一致的分布式快照？ 什么是 barrier？什么是 barrier 对齐？ 证明了：为什么 barrier 对齐就是 Exactly Once，为什么 barrier 不对齐就是 At Least Once。 Flink 简介 有状态函数和运算符...
flink CDC (java 版本)
daqu1314的博客
07-13 2944
一.flink CDC 目前还有许多要完善的,用起来感觉还不错的,我这边自己研究了下. 自己有些心得 1.在flink cdc 自定义反序列化器 测试 修改主键后会终止程序 报错 Recovery is suppressed by NoRestartBackoffTimeStrategy 我这边没时间继续查找研究.希望有人继续研究吧! 2.希望flink cdc 支持 Oracle,这个很重要,成功了也是个壮举啊! 二. mysql的配置 mysql肯定都安装 但是初学者找到这个配置确实有点难度 指令:..
实践数据湖iceberg 第二十七课 flink cdc 测试程序故障重启：能从上次checkpoint点继续工作
spark_dev的博客
04-07 3844
程序化部署，测试flink cdc重启恢复 测试思路：1.程序停止时，进行checkpoint记录，记录checkpoint的位置 2.程序停止时，写入数据， 记录写入的数据， 测试重启后，能否从故障点开始恢复。 结论：能
flink on yarn 问题记录2
m0_58149226的博客
09-02 1242
flinkon yarn 问题记录
Debezium NPE 的 bug
cainiao1412的博客
10-20 660
最终通过追踪源码，定位到是一个简单的null值判断，修复后，问题解决。
大数据技术之Flink CDC视频教程
07-08
Flink CDC是Flink社区开发的Flink-cdc-connector组件，是一个可以实现从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。通过使用Flink CDC，搭配Flink的流批一体数据计算引擎，能够实现采集...
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 ...
UPS、蓄电池、空开、电缆配置计算方法.pptx
04-27
5G通信行业、网络优化、通信工程建设资料
node-v7.4.0.tar.xz
最新发布
04-27
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Unity mesh减面工具 Mesh Simplify 1.12
04-27
Unity mesh减面工具 Mesh Simplify 1.12
基于Springboot+Vue酒店客房入住管理系统-毕业源码案例设计.zip
04-27
网络技术和计算机技术发展至今，已经拥有了深厚的理论基础，并在现实中进行了充分运用，尤其是基于计算机运行的软件更是受到各界的关注。加上现在人们已经步入信息时代，所以对于信息的宣传和管理就很关键。系统化是必要的，设计网上系统不仅会节约人力和管理成本，还会安全保存庞大的数据量，对于信息的维护和检索也不需要花费很多时间，非常的便利。 网上系统是在MySQL中建立数据表保存信息，运用SpringBoot框架和Java语言编写。并按照软件设计开发流程进行设计实现。系统具备友好性且功能完善。 网上系统在让售信息规范化的同时，也能及时通过数据输入的有效性规则检测出错误数据，让数据的录入达到准确性的目的，进而提升数据的可靠性，让系统数据的错误率降至最低。 关键词：vue；MySQL；SpringBoot框架 【引流】 Java、Python、Node.js、Spring Boot、Django、Express、MySQL、PostgreSQL、MongoDB、React、Angular、Vue、Bootstrap、Material-UI、Redis、Docker、Kubernetes
JAVA扫雷游戏程序+源码
04-27
扫雷游戏是一款经典的计算机游戏，它的目标是在一个方格矩阵中找出所有隐藏的地雷。玩家需要通过点击方格来揭示其内容，如果方格中有地雷，则游戏结束；如果没有地雷，则会显示周围8个方格中地雷的数量。玩家需要根据这些信息来判断哪些方格是安全的，并继续点击其他方格。 在JAVA扫雷游戏程序中，我们使用了一个二维数组来表示游戏的方格矩阵。每个方格可以包含以下三种状态之一：未被揭示、有地雷或安全。我们还使用了一些辅助变量来跟踪游戏中的状态，例如已揭示的方格数量和剩余的地雷数量。 当玩家点击一个方格时，程序会检查该方格是否已经被揭示。如果是，则不做任何操作；否则，程序会揭示该方格的内容，并根据其是否包含地雷来更新游戏状态。如果方格中有地雷，则游戏结束；否则，程序会递归地揭示周围的方格，直到遇到已经揭示的方格为止。 为了提高游戏的可玩性，我们可以添加一些额外的功能，例如计时器、难度级别选择和自定义方格大小等。此外，我们还可以使用图形用户界面（GUI）来美化游戏界面，使其更加友好和易于操作。
flink cdc checkpoint恢复问题
11-11
Flink CDC（Change Data Capture）是一种用于捕获数据变化的机制，可以将数据变化以事件流的形式传输给Flink流处理程序。而checkpoint是Flink用来保证数据一致性和容错性的机制，它可以保存流处理程序在某个时刻的状态，以便在发生故障时进行恢复。 在使用Flink CDC时，可能会遇到checkpoint恢复问题。这些问题通常包括如何有效地设置CDC和checkpoint的配置参数，以及如何正确地处理状态恢复过程中的数据变化。例如，在进行checkpoint恢复时，可能会遇到数据重放、状态丢失或者状态不一致等问题。 为了解决这些问题，可以考虑以下几个方面： 1. 合理设置CDC和checkpoint的参数。需要根据具体的业务需求和数据特点来设置CDC和checkpoint的参数，例如并行度、checkpoint间隔、超时时间等。 2. 确保数据源的幂等性。通过保证数据源的幂等性，可以避免在数据重放时导致数据错误的问题。 3. 使用恰当的状态后端。Flink提供了不同的状态后端，如RocksDB和MemoryStateBackend，不同的状态后端对于checkpoint的恢复速度和性能有着不同的影响。 除此之外，还可以通过详细的日志记录和监控来及时发现问题和进行调优。此外，也可以参考Flink的官方文档和社区讨论，获取更多关于CDC和checkpoint的最佳实践和经验分享。通过这些方法，可以更好地解决Flink CDC checkpoint恢复问题，提高流处理程序的稳定性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值