flink学习（加餐）——flink-mysql-cdc设置从指定position消费

最新推荐文章于 2024-07-22 19:50:34 发布
最新推荐文章于 2024-07-22 19:50:34 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yohohaha/article/details/110525584
版权

目前发布的flink-connector-mysql-cdc（version：1.1.0）不支持从指定的mysql bin-log文件的某个position开始消费。不过也不是没有办法，可以增加一些额外配置使其支持，不过需要修改源码重新编译下。

参考自Support read from specific MySQL Binlog position

或者可以直接拉取github上shizhengchao大佬写的分支，编译即可：https://github.com/shizhengchao/flink-cdc-connectors/tree/issues21。

Yohohaha
关注
专栏目录
flink+flinkcdc+同步(MYSQL到MYSQL)实践
RodJohnsonDoctor的专栏
08-24 629
通过Flink +FlinkCDC实现MYSQL到MYSQL的同步【单表，多表】
FLink-CDC部署（S2:mysql复制配置）
wengad的博客
03-26 770
在使用 Flink CDC 进行同步时，你还需要在 Flink SQL 客户端或作业中提供相应的 MySQL 连接参数，包括 URL、用户名、密码以及可能的表过滤规则等。这样，Flink CDC 就能通过 JDBC 接口连接到 MySQL 并开始监听指定表的变更事件。binlog-format=row # 使用 ROW 格式，以便记录每行数据的更改。log-bin=mysql-bin # 开启二进制日志，并设置日志文件前缀。注意，这里创建的表要有主键，不然同步的时候不能成功。创建用于同步的数据库和表。
flinkCdc的mysql配置及java测试代码
最新发布
wukong3158的博客
07-22 113
日志的范围,在数据库范围可以使用mysql的binlog-do-db和binlog-ignore-db,表级别可以使用replicate_wild_do_table, 不过不建议配置,因为在一些特殊情况下有可能造成同步的数据不完整,参考。如果不配置binlog-do-db相当于所有的库都可以同步， 一旦配置了binlog-do-db则除了配置了binlog-do-db的库能同步binlog日志，其他的库都不能同步了。要在mysql.cnf中配置开启开启mysql的bin-log日志,/*# 事件查询命令。
flink消费kafka从指定时间消费offset的日志
wppwpp1的专栏
06-22 639
有时生产上会按指定时间消费kafka的数据，具体日志如下：
[博学谷学习记录]超强总结，用心分享|实现MySql的FlinkCDC
weixin_43814165的博客
05-08 291
实现MySql的FlinkCDC
Mysql主从架构，使用flinkCDC消费从库成功案例和注意事项
dgbcf的博客
02-14 614
Mysql主从架构，使用flinkCDC消费从库成功案例和注意事项
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-connector-mysql-cdc-2.2
03-25
Flink CDC Connectors 2.2源码修改，适配Flink 1.14.2（MySQL）
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
总之，通过Flink-connector-sqlserver-cdc 2.3.0，我们可以轻松地构建一个实时数据同步系统，将SQL Server数据库的变化实时同步到MySQL。理解并掌握上述步骤和概念，对于实现高效、稳定的数据流处理至关重要。
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
flink-connector-mysql-cdc-2.3-SNAPSHOT.jar
06-21
mysql connector 2.3 带依赖包
Flink CDC 问题以及测试记录（持续更新...）
cuichunchi的博客
01-13 1661
问题及测试集锦 1、flink cdc 的 api兼容的ddl的结构变更吗？ 2、cdc 比如增量消费 然后 kill任务 再恢复？ 3、mysql cdc 设置了检查点，sink到kafka，重启作业，为啥全量的数据还是会重新发送到kafka
FlinkCdc从Mysql指定的binlog日志offsetPos位置开始读取数据
shy_snow的专栏
02-11 5028
flinkCdc1.4.0版本有specificOffset方式指定binlog日志的位置开始读数据, 新版本测试还未支持该功能。 import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource; import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions; import com.alibaba.ververica.cdc.debezium.StringD..
Flink动态读取Mysql配置程序
程序员小李的博客
10-19 486
这里通过构造MysqlConfigResource来进行创建广播流。以上就是读取mysql数据，这里很简单只是用了一个循环来轮训读取。以上是配置及maven信息。
Flink MySQL CDC 增量同步要求源表有主键
一见
03-14 1101
【代码】Flink MySQL CDC 增量同步要求源表有主键。
【Flink】Flink Starting Offset 启动消费位置 指定时间消费
九师兄
12-18 1199
Kafka Source 能够通过指定 OffsetsInitializer来消费从不同偏移量开始的消息。如果上面的内置初始值设定项无法满足你的要求，您还可以实现自定义偏移量初始值设定项。如果未指定 offsets 初始值设定项，「则」默认使用 「OffsetsInitializer.earliest()」。
浅谈flink-cdc的使用
热门推荐
chenzuoli的博客
12-19 1万+
Flink cdc1.x和2.x区别太大了，如果能升级最好了，不能升级，那么我们怎么避免1.x给我们带来的问题呢？ 下面结合我在公司生产的实践，给大家说说。
Flink CDC踩坑集合
百里长庭的博客
03-22 5506
背景 Flink版本-1.11.0 Flink-CDC版本- 1.1.0 问题集合 1. 使用flink sql 时，需要引入flink-json依赖 异常信息 Caused by: org.apache.flink.table.api.ValidationException: Could not find any factories that implement 'org.apache.flink.table.factories.DeserializationFormatFactory' in the
flink-connector-mysql-cdc 和 mysql-connector-java 依赖冲突
05-31
flink-connector-mysql-cdc 是一个用于将 MySQL 数据库中的数据变化捕捉到 Flink 流处理应用程序中的库。它依赖于 mysql-connector-java 库来连接 MySQL 数据库。如果你在项目中同时引入了 flink-connector-mysql-cdc 和 mysql-connector-java，可能会出现依赖冲突的问题。 具体来说，如果你在项目中引入了不同版本的 mysql-connector-java 和 flink-connector-mysql-cdc，可能会导致编译错误或者运行时异常。解决这个问题的一种方法是将 mysql-connector-java 库排除掉，让 flink-connector-mysql-cdc 使用你指定的版本的 mysql-connector-java 库。例如，在使用 Maven 进行构建时，可以在 flink-connector-mysql-cdc 的依赖项中添加 exclude 标签，如下所示： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> <version>${flink.version}</version> <exclusions> <exclusion> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> </exclusion> </exclusions> </dependency> ``` 这样就可以避免 flink-connector-mysql-cdc 和 mysql-connector-java 的依赖冲突了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值