hi,小伙伴们,大家好!
今天给大家推荐一下我的好朋友华仔,后端技术专家。
华仔是一个工作十多年的职场老人,从2010年毕业后就在帝都一直混迹到现在,这期间先后在多家头部互联网教育公司从事中后台技术研发和架构相关工作。
其实华仔在读大学时在一个很普通的双非院校,也是非计算机科班出身。后来通过短时间的计算机培训,凭借自己的努力,一步步喜欢上编程,并且在工作后也一直在努力学习,提升自身的技术实力。
之前一直在简书和Github上记录和转载一些高质量的技术文章自己学习
https://www.jianshu.com/u/d1efae5b9216
https://github.com/menghuan/lnmp-code-analysis
从今年开始,他在工作之余也创建了一个硬核原创技术公众号【华仔聊技术】。这个号记录和分享自己的学习和经验输出。华仔最近在专注于写Kafka系列技术文章, 他写的文章质量很高, 文章会分享关于Kafka底层设计的很多实用的技术点, 由浅入深, 图文并茂讲述了很多晦涩难懂的技术难点, 目前已有多篇被其他大号进行转载。
他专注 后端技术 分享,持续更新kafka系列文章:
站在设计者的角度,从最简单原始的方式一步步带你演进到 Kafka 的真实超高并发网络架构设计,在这个过程中,你会看到 Kafka 在处理请求的过程中会遇到哪些高性能和高并发问题,以及架构为什么要这样演进,从而理解 Kafka 这么设计的意义和精妙之处。
深度剖析: Kafka 请求是如何处理?看完这篇文章彻底懂了!
Kafka 超高并发网络架构图:
从 Kafka 存储的场景剖析出发、kafka 存储选型分析对比、再到 Kafka 存储架构设计剖析、以及 Kafka 日志系统架构设计细节深度剖析,一步步带你揭开了 Kafka 存储架构的神秘面纱。
日志存储架构图:
日志写入磁盘流程图:
当 Kafka Producer 生产完消息,并提交保存到 Kafka Broker 的 Topic 后,Kafka Consumer 是如何进行数据消费的,又是以何种方式进行消费的?分区分配策略有哪些, 消费者组和重平衡机制是如何处理的, 偏移量如何提交和存储,消费进度如何监控,如何保证消费处理完成?本篇进行了深度的剖析
consumer消费流程:
rebalance场景一(新成员加入组):
Kafka Producer 如何初始化,发送流程是怎样的,高性能网络发送以及存储架构是怎么设计的,以及 Producer 端的参数如何进行调优,让你对 Producer 设计有更深的认识:
Producer发送消息流程图:
Producer 内存池架构图:
当 Kafka Producer 将消息数据通过网络架构发送到 Kafka 集群后, 那么 Kafka Broker 如何保证高可用,Broker Controller 故障转移如何处理,日志复制的HW和LEO机制是如何设计的,又是如何更新的, LeaderEpoch 的改进方案以及延迟任务如何设计?
LeaderEpoch机制如何保证因时间错配导致数据丢失情况示意图:
从架构师必备能力出发, 讲述了 Kafka 生产级容量评估方案该如何做?如何让公司领导以及运维部门得到认可, 获准你的方案
当大家对 Kafka 有所了解后, 本篇开始讲述 Kafka 高可用、高并发、高性能的架构设计奥秘,奠定 Kafka 在大数据领域的地位
零拷贝示意图:
Kafka 三层网络架构图:
对于初学者或者不了解 Kafka 的读者,可以从本篇开始读起,讲解了Kafka 基础知识, 让大家对 Kafka 有个初步的认识
Kafka 稀疏哈希索引示意图:
...
点击公众号关注他,就可以和他一起在技术这条路上成长进阶!!!
他非常喜欢交朋友,维护着一个百人技术交流群,群里非常活跃,也有各个领域的大咖坐镇,经常帮群内的朋友做职业、技术上的答疑解惑。一个人走的快,一群人走的远,快快扫描下面的二维码,加他好友吧,如果想进群记得备注下加群~
好朋友华仔真的是个宝藏博主,会时不时的给你带来惊喜,欢迎关注~
号主:华仔, 十一年工作经验的后端研发老兵, 曾担任过技术经理, 架构师。
华仔坚持原创,厚积薄发、换位思考、以读者的角度来总结文章。目前专注于中间件Kafka相关硬核文章输出, 后续会输出其他方向的干货,每一篇输出,不仅仅是干货的呈现,更是引导你一步步的深入思考,从底层实现原理来提升自己。
欢迎关注公众号【华仔聊技术】,相信您看了华仔的几篇文章后,一定会加星标的!!