8、sql变更导致canal堵塞问题排查

一、场景描述

20220120 15:50左右发布(发布单), dba采用rename方式变更表结构,导致变更时刻点,表名称和topic无法匹配上,导致canal爆找不到topic的错误,然后canal陷入死循环一直投递那个时刻点的日志(此现象已经在测试环境复现).

//期望变更sql
ALTER TABLE `ms_member_pay_order` 
ADD COLUMN `recycle_amount` decimal(12,2) DEFAULT NULL COMMENT '作废的余额金额',
ADD COLUMN `recycle_rebate_amount` decimal(12,2) DEFAULT NULL COMMENT '作废的奖励金金额',
ADD COLUMN `refund_by` varchar(32) DEFAULT NULL COMMENT '退款操作人',
ADD COLUMN `refund_date` datetime DEFAULT NULL COMMENT '退款操作时间';

//实际变更方式
//dba 为了大表变更,先创建新表,然后rname的方式变更成目标表
rename /* gh-ost */ table `membership`.`ms_member_pay_order` to `membership`.`_ms_member_pay_order_del`, `membership`.`_ms_member_pay_order_gho` to `membership`.`ms_member_pay_order`

二、原因分析

2.1、canal表与rocketMq topic投递规则

目前canal表和rocketMq topic投递规则是,一个topic对应一类表.如果新增表不在匹配规则范围内,canal是无法发现新增表的.
​

2.2、dba变更表导致新表无法匹配到topic

下面变更表的方式导致,变更新表的消息无法匹配到topic,然后canal会报找不到topic的错误.

//dba 为了大表变更,先创建新表,然后rname的方式变更成目标表
rename /* gh-ost */ table `membership`.`ms_member_pay_order` to `membership`.`_ms_member_pay_order_del`, `membership`.`_ms_member_pay_order_gho` to `membership`.`ms_member_pay_order`

2.3、在2.2的基础上如果在有新的binlog日志canal将陷入死循环

此时canal爆找不到topic的错误,如果此时在有表insert、update等,canal陷入死循环,一直投递这些重复的消息.
上图测试环境rocketMq 1分钟左右,投递了500页消息.
​

三、如何解决

3.1、创建默认的topic

在rocketMq上创建默认的topic,出现找不到topic的时候投递到默认topic.这样就不会触发找不到topic的异常.

rocketmq.producer.group = canal_binlog

3.2、这样做的风险

程序如果配置配置错误,会导致消息都透底到默认topic上面. 不过发布后检查下配置及默认topci,这个问题就可以避免.