flink CDC2.3.0修改源码升级debezium版本至1.9.7,详细步骤以及操作流程

flink cdc 2.3.0的debezium版本为1.6.4, 业务上有实时同步oracle数据到starrocks的需求,在测试使用flink cdc同步oracle数据的过程中,任务执行一段时间后,oracle侧的logminer会话内存占用不断上升,造成oracle内存占用严重,时间长了的话会造成oracle OOM的问题。

具体的flink CDC issues: https://github.com/ververica/flink-cdc-connectors/issues/815

该问题在flink CDC2.3.0中并没有得到解决,由于flinkCDC底层依赖了debezium, 所以该问题的根源出在debezium这里,查debezium的issues发现,在debezium 1.9.3的时候,debezium修复了这个bug, 并且增加了新的配置参数来解决这个问题,所以如果要在flinkCDC侧解决这个问题,只能通过对flinkCDC的源码进行升级,接下来就介绍一下详细的源码修改步骤。

好啦,废话少说,直接开始吧!

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 15
    评论
评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛与鲸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值