Flink cdc写入kafka数据出现null的问题排查与解决
Flink cdc是目前实时同步binlog数据非常方便的工具,今天业务在消费同步的数据发现其中有很多的null数据,经过排查,总结出以下特点:null数据的出现有一定规律,几乎每个+U(upsert_after)类型的数据前就有一条null数据 数据在出现null前,同步逻辑做过更改,添加了where语句过滤数据,在此前没有过null数据首先,我需要确定null数据是什么。查询官方文档可以知道在upsert-kafka中,会把-D(delete)类型数据写成null。但是我已经通过参数去掉了
原创
2021-11-19 20:44:31 ·
4870 阅读 ·
7 评论