本文介绍了在CDC场景下，如何处理Kafka动态生成的topic并保证消费顺序。通过使用Debezium+kafka connect，面临了topic动态生成和单线程消费效率低下的问题。解决方案包括：使用正则表达式监听topic，但引发性能问题；改为手动创建消费者，按需启动消费者线程，实现批量消费，显著提升了性能。文章提供了具体的代码示例，并分享了相关参考资料。
场景介绍
??公司需要做一个mysql同步到Pgsql的数据同步，采用Debezium结合kafka connect读取mysql的binlog同步到Kafka，然后需要消费kafka的消息，生成DDL和DML，插入到Pgsql
kafka相关问题
topic动态；
?? Debezium+kafka connect 会动态生成topic，一个表一个topic，因为实际生产中，会存在表新建的情况，会动态添加一个新的topic需要消费，这也是这篇文章主要想要解决的问题
顺序保证
?? 因为读取的是mysql的binlog，需要按照这个顺序去消费，所以每个topic只有一个partition，消费的时候我们需要考虑效率问题。
其他问题和kafka无关，不做说明
解决方案
topic动态问题，
在我的业务场景中，虽然topic是动态的，但是topic是有规则的，比如topic的规则都是 【服务名.数据库名称.表名】
如：test1.dbname1.t_test
刚刚开始想着直接使用@KafkaListener的topicPattern属性，配置上正则去解决，但是会导致另外一个问题，使用该方式或导致这个消费者匹配到的所有符合规则的topic，比如此处的正则可以配置为:【test1.dbname1.*】。然后因为每个topic只有一个partition，单线程消费性能低下，线上的数据量太大，消费一个大的topic时其他topic无法消费。
(如果topic有多个分区，可以开启concurre
最低0.47元/天 解锁文章
扫一扫
2156
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
