问题描述:
源端向新建表(rds)或者集合(mongodb)写入数据,目标端很长时间都看不到新表或者集合的数据写入
问题分析:
查看sink connector当前所监听的所有topic信息。
说明:每个表(rds)或者集合(mongodb)对应一个kafka 的topic
通过kafka-connect暴露的restAPI查询当前sink connector所监听的topic
:8083/connectors/:connectorName/topics
返回该sink connector所监听的所有topic,发现还没有新建表的topic。
过了大概5分钟之后又查询了一下 :8083/connectors/:connectorName/topics ,
发现新建表的topic出现在了列表中,此时看新建表的数据也同步到了目标数据库中。
思考:新建表的topic为什么需要5分钟左右才能被sink-connector监听?
问题解决办法:
修改consumer获取broker最新元数据的间隔时间