超级会员免费看
当源端向RDS或MongoDB新建表写入数据时，Kafka Sink Connector可能需要较长时间才能同步新数据。通过检查Connector监听的topic，发现新表的topic在5分钟后才出现。问题根源在于`metadata.max.age.ms`配置，默认为5分钟。为解决这个问题，可以将此值调整为更短的时间，如1分钟，以减少新表数据同步的延迟。调整Sink Connector的配置，特别是`consumer.metadata.max.age.ms`参数，可以显著改善这一情况。
问题描述：
源端向新建表（rds）或者集合（mongodb）写入数据，目标端很长时间都看不到新表或者集合的数据写入
问题分析：
查看sink connector当前所监听的所有topic信息。
说明：每个表（rds）或者集合（mongodb）对应一个kafka 的topic
通过kafka-connect暴露的restAPI查询当前sink connector所监听的topic
:8083/connectors/:connectorName/topics
返回该sink connector所监听的所有topic，发现还没有新建表的topic。
过了大概5分钟之后又查询了一下 :8083/connectors/:connectorName/topics ，
发现新建表的topic出现在了列表中，此时看新建表的数据也同步到了目标数据库中。
思考：新建表的topic为什么需要5分钟左右才能被sink-connector监听？
问题解决办法：
修改consumer获取broker最新元数据的间隔时间
订阅专栏 解锁全文
6595
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
