最全【面试题】消息堆积解决方案(1)，2024年最新C C++开发基础不牢

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

整个链路的demo如下图所示。

中间件监控如下图所示

2、解决方案

2.1、加机器

一开始以为偶尔出现的一波流量，加一台机器看看。所以整个链路如下图所示。机器总数小于分区总数。

观察了一段时间，发现延迟增长缓慢，说明有效果，如下图所示。但是还是延迟。

2.2、继续加机器

发现上面加机器有效果，继续加机器，如下图中的蓝色pod，此时延迟还是增长，不符合预期。此时我了解到当机器等于分区数时，再加机器没有效果。因此需要提高单台机器的消费能力。

2.3、多线程

提升单台机器的消费能力开多线程。拉取消息的时候批量拉，如下图所示，我拉三条消息，收到消息后抛到线程池（三个线程）中。此时系统消费能力提高三倍。

此时遇到不顺序消费问题，如上图所示，当我的消息需要顺序消费（同userld顺序）时，但是因为我把消息打平了，所以出现了不顺序消费的问题。

2.4、多线程-顺序消费

通过对消息中的业务key（本文中的userid）做路由，如下图中的接收线程中的hash，再路由到固定的线程，从而实现本批次的顺序消费。此处参考了Netty的Reactor模型（加分项）。

• 偏移量什么时候提交？
  本批次全部消费完提交，不论失败与成功。使用CDL。
• 消费失败怎么办？
  记录日志，人工接入。

3、案例拓展

• 大盘监控：完善的监控报警方案，早发现早治疗，别等用户反馈。老板喜欢看大盘。
• 变更通知：操作前一定要周知上下游，包括异步链路。
• 批次灰度：上一批观察一下兄弟团队反馈，没问题推下一批。
• 流量隔离：针对此方案，我们专门搭建了一个消费消费的分组或集群，能实现上述情况出现时不影响正常流量。

一起学习，共同进步👇👇👇

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**