Flink CDC Connectors 2.2源码编译,适配Flink 1.14.2

需要源码或者进Flink微信交流群的+V :zoomake1024

Flink CDC Connectors 底层集成了 Debezium 引擎来捕获数据变化,支持Mysql、PostgreSQL、MongoDB、Oracle、SqlServer多种数据源同步,2.0版本稳定性大幅提升,如动态分片,初始化阶段支持checkpoint、无锁初始化等。

758511-20220301173534024-601175990.png

CDC需要mysql binlog设置成ROW模式:

show variables like 'binlog_format%'; 

vi /etc/my.cnf
binlog_format=row
systemctl restart mariadb.service

否则会报以下错误:

Caused by: org.apache.flink.table.api.ValidationException: The MySQL server is configured with binlog_format MIXED rather than ROW, which is required for this connector to work properly. Change the MySQL configuration to use a binlog_format=ROW and restart the connector.

编译 CDC2.2源码 适配Flink1.14.2

修改父module和子module的pom文件适配Flink1.14.2:

1.修改flink版本为1.14.2和scala版本为2.12.7

2.修改flink-table-planner-blink为flink-table-planner;flink-table-runtime-blink为flink-table-runtime

3.flink-shaded-guava版本由30.1.1-jre-14.0修改为18.0-13.0

修改后极少部分import会报错,改成新依赖版本中的路径和类即可,例如:
创建TimestampFormat改为TimestampFormat timestampOption = JsonFormatOptionsUtil.getTimestampFormat(formatOptions);

打包时需注意

父module先install,这样会保证本地maven仓库中有各个子module的jar包,否则,子module之间有依赖的话,package时会报错。

然后再package需要的子module,子module的pom文件需要修改打包方式,最好把依赖都打进jar包中,这样工程中就只需要引入一个

否则会报如下的各种错误:

Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值