支付MQ消费场景改造

前言：这是一个MQ消费程序的业务优化改造场景，我们支付服务的消费方，主要功能是根据规则过滤一些消息，继而处理剩下的消息

        消息来源：框架监听binlog后向kafka中写入消息（只监听新增）

背景：现有一个topicA ，kafka（消息体中有一个：userId字段），日两亿消息

生产方：其他服务

现状：5个库(4个业务库+1个灰度库)，每个库拥有4个服务节点，共计20个服务节点，所有节点作为一个消费集群共同消费topicA的消息

          5个库名字分别为01、02、03、04、99(灰度库)

现需改造：5个库根据规则各自消费自己应处理的数据

                  eg:1库消费ID尾号为00-24的客户消息，2库消费25-49的客户消息

限制：

        1、生产方一个topic不能增加，消息头 体什么都不能改

        2、节约成本，不再新加机器

---

方案：

        1. 新增5个topic，分别为：topic01、topic02、topic03、topic04、topic99

        2. 5个库在消费topicA的前提下 再消费新增的对应topic(01库多消费一个topic01)

        3. topicA现有消费逻辑改造：

                i. 消费后，比对消息体中userId，和自身能处理的区间值配置

                ii: 相同则按之前流程正常处理，不相同则根据配置发送到 新增的topic中（userId尾号为01则发送到topic01中）

                

注：为了避免从topicA消费后异步写入新topic时消息丢失，我们有做双MQ方案，kafka写入失败后会写入备用MQ，消费做幂等