flink CDC2.3.0修改源码升级debezium版本至1.9.7,详细步骤以及操作流程

本文介绍了如何解决Flink CDC 2.3.0在同步Oracle数据时,由于Debezium 1.6.4版本导致的Oracle内存占用过高的问题。通过分析Flink CDC的GitHub issue和Debezium的修复记录,确定在Debezium 1.9.3版本中已修复此bug,并引入新配置。因此,文章详细阐述了如何修改Flink CDC源码以升级到Debezium 1.9.7,以解决Oracle OOM问题。
摘要由CSDN通过智能技术生成

flink cdc 2.3.0的debezium版本为1.6.4, 业务上有实时同步oracle数据到starrocks的需求,在测试使用flink cdc同步oracle数据的过程中,任务执行一段时间后,oracle侧的logminer会话内存占用不断上升,造成oracle内存占用严重,时间长了的话会造成oracle OOM的问题。

具体的flink CDC issues: https://github.com/ververica/flink-cdc-connectors/issues/815

该问题在flink CDC2.3.0中并没有得到解决,由于flinkCDC底层依赖了debezium, 所以该问题的根源出在debezium这里,查debezium的issues发现,在debezium 1.9.3的时候,debezium修复了这个bug, 并且增加了新的配置参数来解决这个问题,所以如果要在flinkCDC侧解决这个问题,只能通过对flinkCDC的源码进行升级,接下来就介绍一下详细的源码修改步骤。

好啦,废话少说,直接开始吧!

评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛与鲸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值