问题描述
通过FlinkCDC同步数据库到Paimon时在Flink Web UI界面发现写入端一直处于忙碌状态,并且Task自动重启了,查看日常日志看到:
异常信息提示由于最近的checkpoint在完成之前过期导致checkpoint执行失败了,一开始怀疑间隔时间设置过短,然后查看了下 flink-conf.yaml 配置项 execution.checkpointing.interval ,发现间隔时间配置为10秒,遂将其改为5min后重新跑作业,然而发现问题依旧。
在Flink UI界面上查看Checkpoint历史信息,点开FAILED可以在里面跳转到日志界面。
在日志界面通过搜索Exception关键字找到错误信息再进行分析,如图:
发现在数据处理过程中出现类型转换错误,我们需要知道Paimon当时正在处理的数据是属于源库的哪张表以及哪个字段,向前翻看日志可以发现日志记录了表名信息,然后我们拿到表名到源数据库查看该表结构信息。
错误提示"0.0"字符串转