迭代版本: A1 C1 C2 属于他们对应系统的迭代版本, 比如针对A系统进行需求改动,部署一套新的迭代服务A1;
要求: mq提供者服务提供出去的消息尽量让 相同版本的消费者进行消费;
1.1. 入口是稳定服务
上图, 假设入口是 稳定服务A ,发出消息; 那么消息链路中互相消费的就是 ABC ;跟迭代版本没啥事
1.2.入口是迭代服务
上图,假设入口是 迭代服务A1 发出消息; 则整个链路中尽量让相同迭代版本的服务去消费;
- A1发消息
A1发了消息; 找B系统发现只有稳定的B,没有迭代版本,那么就让B消费;
A1发了消息;C也是有订阅的,然后发现C系统有迭代C1,跟A1版本相同,则让C1消费; C和C2都不消费;
- B发消息
B消费了A1过来的消息后也发出了消息; A系统有消费,那么这个时候B发出的消息应该让A1消费而不是A;
同理, 也应该是C1消费而不是C或者C2
- C1发消息
C1发消息 让A1消费;
C1发消息 让B消费;
1.3.dubbo服务传入迭代版本
上图D1调用了B的dubbo接口并且传递了版本号; B此时发出消息也是属于迭代消息; 跟2一样;
我们在之前的文章中有讲解如何 在dubbo中实现这样的功能; 通过spi给dubbo重新根据version来进行路由;
但是在kafka中,并没有这消费者路由这么一回事,那么也就无法控制哪个服务去消费这条消息;
那么下面,我给出自己的一些解决方案,如果觉得有问题,欢迎批评指正;
设计方案:
方案关键步骤:
-
消息发送的时候,在Header上加上Version信息
-
发送消息 将消息发2条出去,消息体相同,但是Topic不同; 迭代消息的Topic加上前缀 VERSION:对应的版本_
-
迭代服务启动的时候用javaagent修改所有监听的Topic; 加上前缀 VERSION:对应的版本_
-
迭代服务消费对应的迭代消息
-
稳定服务 是否需要消费消息 需要判断
当前消息Header不携带Version 则直接消费
当前消息Header携带Version,再判断是否有对应的迭代服务存在;有则不消费,无则直接消费
-
消费消息时,需要把Version保存到 ThreadLocal中; 以便进行链路流转
-
使用ThreadLocal的时候,在线程池的情况下,值传递会有问题. 解决方案 用javaagent 方式使用TransmittableThreadLocal
-
全程代码0侵入;kafka的两个拦截器的和配置 都通过Javaagent来就行增强
如何判断迭代服务是否存在
上面的设计方案中,在kafka consumner 拦截器
判断是否需要消费的时候 写了两种方式
1. 方式一:
获取当前消息的消费组currentGroupId = KafkaUtils.getConsumerGroupId()
获取所有消费组adminClient.listConsumerGroups()
然后再所有消费组中查找有没有 VERSION:1_currentGroupId 的消费组;
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
![img](https://i-blog.csdnimg.cn/blog_migrate/d84e74cf552b3ed0e8c4f12949bd1f18.jpeg)
Java高频面试专题合集解析:
当然在这还有更多整理总结的Java进阶学习笔记和面试题未展示,其中囊括了Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构资料和完整的Java架构学习进阶导图!
更多Java架构进阶资料展示
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!
OA1x-1712073382846)]
[外链图片转存中…(img-DjqqVXnU-1712073382846)]
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!