canal-kafka之后再增加消息队列做解耦优化

canal-kafka之后再增加消息队列做解耦优化

背景

项目上已经使用canal-kafka处理数据，做一些数据推送等业务。有些数据还需要推送（一般为REST接口调用，要求无重无漏）至多个第三方平台。

问题

某个第三方平台异常，重试，导致数据推送业务停顿，影响到了其它正常平台的数据推送。

方案

由于kafka不支持多重消费，考虑拆分之前的数据处理业务。先对数据做一次初筛，分发到不同的消息队列中，然后再由具体的业务服务来接收处理，实现充分解耦。