关注
分享
这个专栏主要是flink在实际生产环境中遇到的重难点分析以及提供对应的解决方案，涉及架构设计、实时任务调优、实时任务全流程监控等，欢迎大家订阅
雾岛与鲸
这个作者很懒，什么都没留下…
展开
-
flink CDC2.3.0修改源码升级debezium版本至1.9.7，详细步骤以及操作流程
该问题在flink CDC2.3.0中并没有得到解决，由于flinkCDC底层依赖了debezium, 所以该问题的根源出在debezium这里，查debezium的issues发现，在debezium 1.9.3的时候，debezium修复了这个bug, 并且增加了新的配置参数来解决这个问题，所以如果要在flinkCDC侧解决这个问题，只能通过对flinkCDC的源码进行升级，接下来就介绍一下详细的源码修改步骤。原创 2023-03-15 17:02:13 · 1360 阅读 · 15 评论 -
Debezium-oracle-connector 1.9.7 源码分析
由于生产上需要用到debezium采集oracle的数据，所以本着用一个工具就需要了解其运行原理的初衷，对debezium相关的源码进行分析。好了，直接开始吧。首先，我们需要通过一段代码找到debezium执行的入口。相关的pom依赖:原创 2023-03-10 18:48:41 · 1380 阅读 · 0 评论 -
使用debezium采集oracle数据报错: NonRelationalTableException: Table xxx is not a relational table
使用debezium采集oracle日志数据的时候报错: Table xxx is not a relational table报错日志如下: ```javatraceorg.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.原创 2023-03-09 20:00:42 · 793 阅读 · 0 评论 -
Flink消费kafka的debezium-json数据(包含增删改消息)，将数据同步到starrocks
只能更换方案使用高版本debezium + kafka connect的方式来同步对应的数据到kafka中，后面使用flink sql消费对应的kafka消息，来达到实时同步的目的。原创 2023-03-08 15:27:20 · 1992 阅读 · 0 评论