中间件兴趣圈

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。最近公司日志Kafka集群出现了性能瓶颈，单节点还没达到60W/tps时消息发送就出现了很大延迟，甚至最高超过了10s，截图说明如下：虽说使用的机械磁盘，但这点压力对Kafka来说应该是小菜一碟，这引起了我的警觉，需要对其进行一番诊断了。通过监控平台观察Kafka集群中相关的监控节点，发现cpu使用率才接近20%左右，磁盘IO等待等指标都并未出现.

RocketMQ提供了基于Tag的消息过滤机制，但在使用过程中有很多朋友或多或少会有一些疑问，我不经意在RocketMQ官方钉钉群，我记得有好多朋友都有问到如下问题：今天我就与RocketMQ Tag几个值得关注的问题，和大家来做一个分享，看过后的朋友，如果觉得有帮助，期待你的点赞支持。消费组订阅关系不一致为什么会到来消息丢失？如果一个tag的消息数量很少，是否会显示很高的延迟？1、消费组订阅关系不一致导致消息丢失从消息消费的视角来看消费组是一个基本的物理隔离单位，每一个消费组拥有自

想必大家都看过笔者Kafka集群故障的排查经验，并通过优化参数使得Kafka集群应对洪峰流量的能力提升N倍，网卡流量几乎打满，集群写入稳如泰山，无独有偶，菜鸟的一个故障导致集群单个topic从5W/tps直接飙升到50W/tps,但集群稳如狗，相当于做了一次“突然的压测”，让我们一起回顾一下这次惊心动魄的过程吧。在进入本文的探讨之前，强烈推荐一下笔者最近的得意之作：Kafka集群中大部分消费组无端被重置到最新位点开始消费的故障排查经验：双十一期间Kafka以这种方式丢消息让我猝不及防生产故障｜Kaf

在Kafka中有一个非常重要的角色：控制器，KafkaController，承担着Kafka核心运作机制，从本文开始将逐步深入Kafka内核，揭晓Kafka内部的运作机制，为更好的运维Kafka储备充足的弹药。深入探究Kafka内核，我们将如何展开呢？经过笔者初略的浏览了KafkaController类的源码，发现Kafka的控制器严重依赖Zookeeper集群，而基于Zookeeper编程的常规套路：基于事件监听模型：Zookeeper创建相应的节点创建Watch，监听节点的新增/修改/删除事件，

手把手教你Oracle增量同步。

我现在有点明白了，在面试过程中面试官有时会让我们手写代码，其实主要是**考验大家的基本功**，更是通过大众都熟悉的领域来考核大家的**体系化思维与应对思路**。

本文是笔者双十一系列第二弹，源于一个双十一期间一个让笔者猝不及防的生产故障，本文将详细剖析Kafka的副本机制，以及ISR频繁变更(扩张与伸缩)为什么会导致集群不可用。1、Kafka副本机制Kafka数据组织方式是topic-parition的结构，每一个topic可以设置多个分区，各个分区的数据是topic数据的一部分（数据分片），为了保证单个分区的高可用行，又引入了副本机制，即一个分区的数据会存储多份，避免单点故障.一个3节点的Broker集群，每一个Toipic的副本因子设置为3，则对于其中一个

如何利用“零散时间”是破局关键。

讲真，我今年的双十一有点“背”，负责的Kafka集群出了一些幺蛾子，但正是这些幺蛾子，让我这个双十一过的非常充实，也让我意识到如果不体系化学习Kafka，是无法做到生产集群及时预警，将故障扼杀在摇篮中，因此也下定决心研读kafka的内核。本文就先来分享一个让我始料未及的故障：Kafka生产环境大面积丢失消息。首先要阐述的是消息丢失并不是因为断电，而且集群的副本数量为3，消息发送端设置的acks=-1(all)。这样严苛的设置，那为什么还会出现消息丢失呢？请听笔者慢慢道来。1、故障现象故障发生时，接

RocketMQ4.9.1版本针对同步复制模型进行了性能优化，压测后提升30%

无处不在的时间轮算法

零拷贝是中间件相关面试中必考题，本文就和大家一起来总结一下NIO拷贝的原理，并结合Netty代码，从代码实现层面近距离观摩如何使用java实现零拷贝。1、零拷贝实现原理**“零拷贝”**其实包括两个层面的含义：拷贝一份相同的数据从一个地方移动到另外一个地方的过程，叫拷贝。零希望在IO读写过程中，CPU控制的数据拷贝到次数为0。在IO编程领域，当然是拷贝的次数越少越好，逐步优化，将其拷贝次数将为0，最大化的提高性能。那接下来我们循序渐进来看一下如何减少数据复制。接下来我们将以Rocket

尊敬的各位读者朋友们，谢谢大家对《RocketMQ技术内幕：RocketMQ架构设计与实现原理》第二版本的支持与厚爱，如果发现书中有什么错误的内容，烦请大家在该文章追加您的评论，我会及时与广大读者朋友们进行互动，共同探讨RocketMQ相关技术。作者也会尽量跟进社区重大更新，对其进行解读，也会在该文中添加动态。大家也可以加我的微信，给我实时反馈，再次感谢大家的支持与厚爱：建议格式：姓名 + 内容(建议包含图片与页码)温馨提示：之所以收集姓名，主要的目的是想在印刷的时候，在致谢名单中加上各位朋友的名

本文节选自最新上市《RocketMQ技术内幕》第二版本，一个最大的改变就是在进入源码分析之前，首先通过图文的方式，提炼出RocketMQ的核心工作机制，降低源码阅读的难度，引发思考。

上文已经详细介绍了disruptor，也体会了并发编程的奥妙，接下来将理论结合实战，本文和大家分享一下disruptor的使用，加深对disruptor工具包对理解。1、 disruptor常用类一览disruptor的常用类体系如下图所示：其职责说明如下：RingBuffer环形队列，disruptor中的核心存储类Sequencer序号实现器，维护发送者发送的序号生成逻辑、消费方获取可消费的序号，是无锁化访问的核心实现类，共有两个实现类，MultiProducerSequence

Disruptor是业界非常出名的单机版高性能队列，官方宣传能达到百万级吞吐，那disruptor是如何做到的呢？其核心秘诀如下：破除伪共享对象池无锁化设计批处理上面这些观点，网上已经提了N遍，没关系，本文将结合代码、图解的方式，与大家一起探究实现原理，希望能给读者朋友们不一样的感悟。提到Disruptor，必然会提到RingBuffer，disruptor环形队列，是整个Disruptor是基座，本文将尝试以RingBuffer为突破口，揭晓disruptor的核心设计理念。disru

《重学Java高并发》第5篇，该专栏将结合10余年的工作经验，在实践中提炼总结高并发经验，将理论落到实处，不仅助力面试，更是真正提高技能。

那线程与线程之间如何协作呢？如果子线程出现异常，如何通知主线程呢？

已发送监控告警信息不同渠道为例，展示同步转异步编程实战。

打印日志的终极目的是什么？