canal-kafka之后再增加消息队列做解耦优化

canal-kafka之后再增加消息队列做解耦优化

背景

项目上已经使用canal-kafka处理数据,做一些数据推送等业务。有些数据还需要推送(一般为REST接口调用,要求无重无漏)至多个第三方平台。

问题

某个第三方平台异常,重试,导致数据推送业务停顿,影响到了其它正常平台的数据推送。

方案

由于kafka不支持多重消费,考虑拆分之前的数据处理业务。先对数据做一次初筛,分发到不同的消息队列中,然后再由具体的业务服务来接收处理,实现充分解耦。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值