中间件兴趣圈
码龄11年
  • 1,605,210
    被访问
  • 345
    原创
  • 884
    排名
  • 47,581
    粉丝
  • 263
    铁粉
关注
提问 私信

个人简介:《RocketMQ技术内幕》一书作者、RocketMQ开源社区优秀布道师、CSDN2020博客之星TOP2,主打成体系剖析java中间件,已发布RocketMQ、Kafka、Dubbo、Sentinel、Canal、ElasticJob、ElasticSearch等15个专栏。

  • 目前就职: 中通快递
  • 加入CSDN时间: 2011-11-06
博客简介:

中间件兴趣圈

博客描述:
主打成体系剖析java中间件,已发布RocketMQ、Kafka、Dubbo、Sentinel、Canal、ElasticJob、ElasticSearch等15个专栏。
查看详细资料
  • 7
    领奖
    总分 4,523 当月 59
个人成就
  • 2020博客之星TOP2
  • 博客专家认证
  • 获得2,313次点赞
  • 内容获得1,405次评论
  • 获得5,757次收藏
创作历程
  • 6篇
    2022年
  • 73篇
    2021年
  • 71篇
    2020年
  • 63篇
    2019年
  • 72篇
    2018年
  • 46篇
    2017年
  • 15篇
    2016年
成就勋章
TA的专栏
  • RocketMQ 实战与进阶
    付费
    30篇
  • RocketMQ
    68篇
  • Flink实战与原理
    2篇
  • 面试系列
    4篇
  • 职场感悟
    7篇
  • 面试指南
    9篇
  • 架构设计
    4篇
  • 重学Java高并发
    7篇
  • Netty4
    10篇
  • 视频教程
  • 源码分析Canal
    7篇
  • sentinel
    17篇
  • 源码分析Dubbo专栏
    26篇
  • Mycat
    17篇
  • Elasticsearch使用指南
    27篇
  • 源码研究RocketMQ
    55篇
  • Kafka
    23篇
  • mycat1.6应用篇
    7篇
  • Netty技术内幕-源码研究Netty5
    18篇
  • 源码研究mycat
    9篇
  • 源码分析ElasticJob专栏
    8篇
  • 源码分析Mybatis专栏
    4篇
  • Netty
    18篇
  • dubbo
    28篇
  • Elasticsearch
    27篇
  • elastic-job
    8篇
  • Mybatis
    7篇
  • java8
    6篇
  • 数据结构与算法
    9篇
  • JAVA引用
    1篇
  • java并发编程
    12篇
  • 数据结构
    1篇
  • MySQL
    4篇
  • 其他
    4篇
  • Spring系列
    1篇
TA的推广
兴趣领域 设置
  • 大数据
    mysqlredis
  • 后端
    架构
  • 搜索
    elasticsearch
博主推荐

关注公众号

博主微信: dingwpmz 参与技术讨论

我的专栏

精华内容,成体系学习技术!

  • Mybatis专栏(图文并茂)
  • 源码分析RocketMQ(40篇+)
  • 源码分析Sentinel(12篇+)
  • 源码分析Dubbo系列(28篇+)
  • Elasticsearch权威指南(20篇+)
  • 源码分析ElasticJob系列
  • 源码分析Netty系列(18篇+)
  • 源码分析Java并发(JUC框架)
  • 源码分析Mycat系列

我的书籍

RocketMQ创始人作序推荐

  • 《RocketMQ技术内幕》
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

生产环境kafka日志集群400W/tps就扛不住了

大家好,我是威哥,《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师,越努力越幸运,唯有坚持不懈,与大家共勉。最近公司日志Kafka集群出现了性能瓶颈,单节点还没达到60W/tps时消息发送就出现了很大延迟,甚至最高超过了10s,截图说明如下:虽说使用的机械磁盘,但这点压力对Kafka来说应该是小菜一碟,这引起了我的警觉,需要对其进行一番诊断了。通过监控平台观察Kafka集群中相关的监控节点,发现cpu使用率才接近20%左右,磁盘IO等待等指标都并未出现.
原创
发布博客 2022.05.19 ·
390 阅读 ·
0 点赞 ·
3 评论

我擦,RocketMQ的tag还有这个“坑”

RocketMQ提供了基于Tag的消息过滤机制,但在使用过程中有很多朋友或多或少会有一些疑问,我不经意在RocketMQ官方钉钉群,我记得有好多朋友都有问到如下问题:今天我就与RocketMQ Tag几个值得关注的问题,和大家来做一个分享,看过后的朋友,如果觉得有帮助,期待你的点赞支持。消费组订阅关系不一致为什么会到来消息丢失?如果一个tag的消息数量很少,是否会显示很高的延迟?1、消费组订阅关系不一致导致消息丢失从消息消费的视角来看消费组是一个基本的物理隔离单位,每一个消费组拥有自
原创
发布博客 2022.03.21 ·
1174 阅读 ·
3 点赞 ·
0 评论

Kafka节点万兆网卡打满,揭晓集群安然无恙的秘诀

想必大家都看过笔者Kafka集群故障的排查经验,并通过优化参数使得Kafka集群应对洪峰流量的能力提升N倍,网卡流量几乎打满,集群写入稳如泰山,无独有偶,菜鸟的一个故障导致集群单个topic从5W/tps直接飙升到50W/tps,但集群稳如狗,相当于做了一次“突然的压测”,让我们一起回顾一下这次惊心动魄的过程吧。在进入本文的探讨之前,强烈推荐一下笔者最近的得意之作:Kafka集群中大部分消费组无端被重置到最新位点开始消费的故障排查经验:双十一期间Kafka以这种方式丢消息让我猝不及防生产故障|Kaf
原创
发布博客 2022.03.04 ·
1266 阅读 ·
0 点赞 ·
0 评论

学习方法|一把解开Kafka背后机制的“钥匙”

在Kafka中有一个非常重要的角色:控制器,KafkaController,承担着Kafka核心运作机制,从本文开始将逐步深入Kafka内核,揭晓Kafka内部的运作机制,为更好的运维Kafka储备充足的弹药。深入探究Kafka内核,我们将如何展开呢?经过笔者初略的浏览了KafkaController类的源码,发现Kafka的控制器严重依赖Zookeeper集群,而基于Zookeeper编程的常规套路:基于事件监听模型:Zookeeper创建相应的节点创建Watch,监听节点的新增/修改/删除事件,
原创
发布博客 2022.02.21 ·
818 阅读 ·
4 点赞 ·
0 评论

阿里巴巴集群所有的数据同步任务都是用SQL语句来定义,如何实现?

手把手教你Oracle增量同步。
原创
发布博客 2022.02.17 ·
398 阅读 ·
0 点赞 ·
0 评论

《重学数据结构与算法》:请手写一个简易的单链表

我现在有点明白了,在面试过程中面试官有时会让我们手写代码,其实主要是**考验大家的基本功**,更是通过大众都熟悉的领域来考核大家的**体系化思维与应对思路**。
原创
发布博客 2022.01.25 ·
148 阅读 ·
1 点赞 ·
0 评论

生产故障|Kafka ISR频繁伸缩缩引发性能急剧下降原因分析

本文是笔者双十一系列第二弹,源于一个双十一期间一个让笔者猝不及防的生产故障,本文将详细剖析Kafka的副本机制,以及ISR频繁变更(扩张与伸缩)为什么会导致集群不可用。1、Kafka副本机制Kafka数据组织方式是topic-parition的结构,每一个topic可以设置多个分区,各个分区的数据是topic数据的一部分(数据分片),为了保证单个分区的高可用行,又引入了副本机制,即一个分区的数据会存储多份,避免单点故障.一个3节点的Broker集群,每一个Toipic的副本因子设置为3,则对于其中一个
原创
发布博客 2021.12.22 ·
2107 阅读 ·
7 点赞 ·
2 评论

坚持周更深度原创文章已6年多,我是如何做到的?

如何利用“零散时间”是破局关键。
原创
发布博客 2021.12.13 ·
625 阅读 ·
5 点赞 ·
2 评论

双十一期间Kafka以这种方式丢消息让我促不及防

讲真,我今年的双十一有点“背”,负责的Kafka集群出了一些幺蛾子,但正是这些幺蛾子,让我这个双十一过的非常充实,也让我意识到如果不体系化学习Kafka,是无法做到生产集群及时预警,将故障扼杀在摇篮中,因此也下定决心研读kafka的内核。本文就先来分享一个让我始料未及的故障:Kafka生产环境大面积丢失消息。首先要阐述的是消息丢失并不是因为断电,而且集群的副本数量为3,消息发送端设置的acks=-1(all)。这样严苛的设置,那为什么还会出现消息丢失呢?请听笔者慢慢道来。1、故障现象故障发生时,接
原创
发布博客 2021.12.07 ·
1997 阅读 ·
3 点赞 ·
2 评论

RocketMQ这样做,压测后性能提高30%

RocketMQ4.9.1版本针对同步复制模型进行了性能优化,压测后提升30%
原创
发布博客 2021.11.29 ·
27738 阅读 ·
63 点赞 ·
21 评论

6张图阐述Kafka心跳机制(时间轮算法的具体运用)

无处不在的时间轮算法
原创
发布博客 2021.11.24 ·
714 阅读 ·
0 点赞 ·
1 评论

零拷贝原理的文章网上满天飞,但你知道如何使用零拷贝吗?

零拷贝是中间件相关面试中必考题,本文就和大家一起来总结一下NIO拷贝的原理,并结合Netty代码,从代码实现层面近距离观摩如何使用java实现零拷贝。1、零拷贝实现原理**“零拷贝”**其实包括两个层面的含义:拷贝一份相同的数据从一个地方移动到另外一个地方的过程,叫拷贝。零希望在IO读写过程中,CPU控制的数据拷贝到次数为0。在IO编程领域,当然是拷贝的次数越少越好,逐步优化,将其拷贝次数将为0,最大化的提高性能。那接下来我们循序渐进来看一下如何减少数据复制。接下来我们将以Rocket
原创
发布博客 2021.11.08 ·
3636 阅读 ·
11 点赞 ·
2 评论

《RocketMQ技术原理:RocketMQ架构设计与实现原理》第二版书籍勘误

尊敬的各位读者朋友们,谢谢大家对《RocketMQ技术内幕:RocketMQ架构设计与实现原理》第二版本的支持与厚爱,如果发现书中有什么错误的内容,烦请大家在该文章追加您的评论,我会及时与广大读者朋友们进行互动,共同探讨RocketMQ相关技术。作者也会尽量跟进社区重大更新,对其进行解读,也会在该文中添加动态。大家也可以加我的微信,给我实时反馈,再次感谢大家的支持与厚爱:建议格式:姓名 + 内容(建议包含图片与页码)温馨提示:之所以收集姓名,主要的目的是想在印刷的时候,在致谢名单中加上各位朋友的名
原创
发布博客 2021.11.04 ·
627 阅读 ·
0 点赞 ·
13 评论

7张图揭晓RocketMQ存储设计的奥妙

本文节选自最新上市《RocketMQ技术内幕》第二版本,一个最大的改变就是在进入源码分析之前,首先通过图文的方式,提炼出RocketMQ的核心工作机制,降低源码阅读的难度,引发思考。
原创
发布博客 2021.11.01 ·
1046 阅读 ·
14 点赞 ·
0 评论

《重学Java高并发》Disruptor使用实战

上文已经详细介绍了disruptor,也体会了并发编程的奥妙,接下来将理论结合实战,本文和大家分享一下disruptor的使用,加深对disruptor工具包对理解。1、 disruptor常用类一览disruptor的常用类体系如下图所示:其职责说明如下:RingBuffer环形队列,disruptor中的核心存储类Sequencer序号实现器,维护发送者发送的序号生成逻辑、消费方获取可消费的序号,是无锁化访问的核心实现类,共有两个实现类,MultiProducerSequence
原创
发布博客 2021.10.26 ·
678 阅读 ·
3 点赞 ·
0 评论

《重学Java高并发》disruptor是如何做到百万级吞吐?

Disruptor是业界非常出名的单机版高性能队列,官方宣传能达到百万级吞吐,那disruptor是如何做到的呢?其核心秘诀如下:破除伪共享对象池无锁化设计批处理上面这些观点,网上已经提了N遍,没关系,本文将结合代码、图解的方式,与大家一起探究实现原理,希望能给读者朋友们不一样的感悟。提到Disruptor,必然会提到RingBuffer,disruptor环形队列,是整个Disruptor是基座,本文将尝试以RingBuffer为突破口,揭晓disruptor的核心设计理念。disru
原创
发布博客 2021.10.21 ·
721 阅读 ·
3 点赞 ·
1 评论

《重学Java高并发》disruptor在数据同步场景下的应用实战(技术方案设计实战)

《重学Java高并发》第5篇,该专栏将结合10余年的工作经验,在实践中提炼总结高并发经验,将理论落到实处,不仅助力面试,更是真正提高技能。
原创
发布博客 2021.10.17 ·
346 阅读 ·
3 点赞 ·
0 评论

《重学Java高并发》线程与线程之间如何协作(父子线程如何优雅交互)

那线程与线程之间如何协作呢?如果子线程出现异常,如何通知主线程呢?
原创
发布博客 2021.10.08 ·
780 阅读 ·
9 点赞 ·
1 评论

《重学Java高并发》同步转异步编程技巧与实战运用

已发送监控告警信息不同渠道为例,展示同步转异步编程实战。
原创
发布博客 2021.09.22 ·
517 阅读 ·
3 点赞 ·
3 评论

你真的会打印日志?

打印日志的终极目的是什么?
原创
发布博客 2021.09.18 ·
1970 阅读 ·
12 点赞 ·
3 评论
加载更多