排查flink-connector-starRocks和dinky的 com.fasterxml.jackson 依赖冲突问题

在将MySQL CDC数据同步到StarRocks2.3时,遇到由于dinky和starRocks中不同版本的com.fasterxml.jackson依赖冲突导致的启动失败问题。通过分析pom文件和使用maven-shade-plugin插件,将冲突的jackson.databind和jackson.annotations移动到特定目录,重新打包并更新到dinky,最终成功解决冲突,实现了数据同步且无错误。
摘要由CSDN通过智能技术生成
1. 问题背景
在开源的dinky flink sql开发平台上, 将mysql CDC数据同步到StarRocks2.3
2. 操作步骤
maven 仓库 或者 github上, 下载合适版本的依赖, 然后放到dinky家目录plugins下, 重启dinky
附上依赖图

在这里插入图片描述

3. 简单 flink sql 如下
-- 测试参数, 生成环境不需设置
SET pipeline.operator-chaining = false;

SET execution.checkpointing.interval = 15000;
SET table.local-time-zone = Asia/Shanghai;
SET execution.runtime-mode = streaming;
SET execution.checkpointing.tolerable-failed-checkpoints = 5;
SET execution.checkpointing.timeout =600000;
SET execution.checkpointing.externalized-checkpoint-retention = RETAIN_ON_CANCELLATION;
SET execution.checkpointing.mode = EXACTLY_ONCE;
SET execution.checkpointing.unaligned = true;
SET execution.checkpointing.max-concurrent-checkpoints = 1;
SET state.che
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值