flink实战系列
这个专栏主要是flink在实际生产环境中遇到的重难点分析以及提供对应的解决方案,涉及架构设计、实时任务调优、实时任务全流程监控等,欢迎大家订阅
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
flink CDC2.3.0修改源码升级debezium版本至1.9.7,详细步骤以及操作流程
该问题在flink CDC2.3.0中并没有得到解决,由于flinkCDC底层依赖了debezium, 所以该问题的根源出在debezium这里,查debezium的issues发现,在debezium 1.9.3的时候,debezium修复了这个bug, 并且增加了新的配置参数来解决这个问题,所以如果要在flinkCDC侧解决这个问题,只能通过对flinkCDC的源码进行升级,接下来就介绍一下详细的源码修改步骤。原创 2023-03-15 17:02:13 · 1485 阅读 · 15 评论 -
Debezium-oracle-connector 1.9.7 源码分析
由于生产上需要用到debezium采集oracle的数据,所以本着用一个工具就需要了解其运行原理的初衷,对debezium相关的源码进行分析。好了,直接开始吧。首先,我们需要通过一段代码找到debezium执行的入口。相关的pom依赖:原创 2023-03-10 18:48:41 · 1582 阅读 · 0 评论 -
使用debezium采集oracle数据报错: NonRelationalTableException: Table xxx is not a relational table
使用debezium采集oracle日志数据的时候报错: Table xxx is not a relational table报错日志如下: ```javatraceorg.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.原创 2023-03-09 20:00:42 · 905 阅读 · 0 评论 -
Flink消费kafka的debezium-json数据(包含增删改消息),将数据同步到starrocks
只能更换方案使用高版本debezium + kafka connect的方式来同步对应的数据到kafka中,后面使用flink sql消费对应的kafka消息,来达到实时同步的目的。原创 2023-03-08 15:27:20 · 2181 阅读 · 0 评论
分享