flink cdc 2.3.0的debezium版本为1.6.4, 业务上有实时同步oracle数据到starrocks的需求,在测试使用flink cdc同步oracle数据的过程中,任务执行一段时间后,oracle侧的logminer会话内存占用不断上升,造成oracle内存占用严重,时间长了的话会造成oracle OOM的问题。
具体的flink CDC issues: https://github.com/ververica/flink-cdc-connectors/issues/815
该问题在flink CDC2.3.0中并没有得到解决,由于flinkCDC底层依赖了debezium, 所以该问题的根源出在debezium这里,查debezium的issues发现,在debezium 1.9.3的时候,debezium修复了这个bug, 并且增加了新的配置参数来解决这个问题,所以如果要在flinkCDC侧解决这个问题,只能通过对flinkCDC的源码进行升级,接下来就介绍一下详细的源码修改步骤。
好啦,废话少说,直接开始吧!
本文介绍了如何解决Flink CDC 2.3.0在同步Oracle数据时,由于Debezium 1.6.4版本导致的Oracle内存占用过高的问题。通过分析Flink CDC的GitHub issue和Debezium的修复记录,确定在Debezium 1.9.3版本中已修复此bug,并引入新配置。因此,文章详细阐述了如何修改Flink CDC源码以升级到Debezium 1.9.7,以解决Oracle OOM问题。
563

被折叠的 条评论
为什么被折叠?



