Kafka
文章平均质量分 95
研究kafka的一系列技术
爱敲代码的小黄
我是爱敲代码的小黄,阿里淘宝集团的Java开发工程师,CSDN博客专家,阿里云专家博主。写过的专栏:Java设计模式、Spring源码系列、Netty源码系列、Kafka源码系列、JUC源码系列、duubo源码系列,期待和大家一起学习,一起进步,一起对抗互联网寒冬
展开
-
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
在讲Kafka日志源码之前,我们要先对Kafka日志有一个大体的认识这也是阅读源码的关键,一步一步来前面我们聊到了Kafka的生产端的整体架构可以看到,我们每一个Topic都可以分为多个Partition,而每一个Partition对应着一个Log但这里会存在两个问题,如果我们的数据过大一个Log能装下吗?就算能装下,插入/查询速度怎么保证?所以,Kafka在这里引入了日志分段(LogSegment)的概念,将一个Log切割成多个LogSegment进行存储实际上,这里的Log和。原创 2023-12-17 12:12:29 · 4297 阅读 · 68 评论 -
【Kafka从成神到升仙系列 六】kafka 不能失去网络通信,就像西方不能失去耶路撒冷
这一篇文章主要从 Kafka 服务端的网络架构入手,剖析了服务端网络如何连接、如何处理、如何返回的。kafka 的网络架构使用了 Reactor 模型,利用 1 + N + M 的架构模式,将 kafka 的通信支撑起来,最后通过 mute 的方法保障了分区有序性。我是爱敲代码的小黄,独角兽企业的Java开发工程师,CSDN博客专家,Java领域新星创作者,喜欢后端架构和中间件源码。我们下期再见。原创 2023-02-07 08:00:00 · 2527 阅读 · 45 评论 -
【Kafka从成神到升仙系列 五】面试官问我 Kafka 生产者的网络架构,我直接开始从源码背起.......
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还不懂什么是IO,看源码的通信基本看不懂后来,花了几个月的时间学了操作系统 --> 计算机网络 --> Linux 通信 --> Java NIO --> Netty,现在看Kafka的通信就变得通透了。另外,基本现在所有源码的通信都有Netty架构的影子所以,如果你也想学源码的话,最好是先看看Netty的相关知识,学完之后,你会发现,通信架构不过如此。如果你能看到这,想必已经跟完了整个Producer网络架构就是整个生产者运行的全部流程。原创 2022-12-12 08:00:00 · 1787 阅读 · 27 评论 -
【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛
本章我们讲述了Kafka生产端为了避免频繁的GC,创建了缓存池的机制当生产端申请的内存为16KB时,从缓存池中取缓存使用,非16KB则取不可复用的ByteBuffer使用我们在生产中要尽量避免不可复用的ByteBuffer的产生,根据当前的业务去调整batch.size的大小,否则容易造成频繁的GC,影响我们的线上业务。下一章我们将会更新Kafka 生产端的网络 I/O 模型喜欢kafka的可以点个关注吆,后续会继续更新其源码文章。原创 2022-11-20 16:58:45 · 2230 阅读 · 30 评论 -
【Kafka从成神到升仙系列 三】你真的了解 Kafka 的元数据嘛
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从成神到升仙。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-11-14 22:48:18 · 2488 阅读 · 39 评论 -
【Kafka从成神到升仙系列 二】生产者如何将消息放入到内存缓冲区
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从成神到升仙。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-04-01 08:00:00 · 1480 阅读 · 16 评论 -
【Kafka从成神到升仙系列 一】Kafka源码环境搭建
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从成神到升仙。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-29 08:00:00 · 1129 阅读 · 14 评论 -
【Kafka从入门到成神系列 八】Kafka 多线程消费者及TCP连接
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-22 08:00:00 · 2491 阅读 · 21 评论 -
【Kafka从入门到成神系列 七】Kafka 位移主题
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-17 08:00:00 · 799 阅读 · 22 评论 -
【Kafka从入门到成神系列 六】Kafka 消费组及重平衡
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-15 09:00:00 · 3478 阅读 · 36 评论 -
【Kafka从入门到成神系列 五】Kafka 幂等性及事务
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-14 08:00:00 · 3045 阅读 · 54 评论 -
【Kafka从入门到成神系列 四】Kafka 消息丢失及 TCP 管理
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-13 08:00:00 · 1012 阅读 · 8 评论 -
【Kafka从入门到成神系列 三】Kafka 生产者消息分区及压缩算法
作者简介:大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。个人公众号:爱敲代码的小黄。系列专栏:Java设计模式、数据结构和算法、Kafka从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。原创 2022-03-11 00:36:52 · 3249 阅读 · 27 评论 -
【Kafka从入门到成神系列 二】Kafka集群参数配置
👏作者简介:大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。📝个人公众号:爱敲代码的小黄📕系列专栏:Java设计模式、数据结构和算法、Kafka从入门到成神📧如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步👀🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦🍂博主正在努力完成2022计划中:以梦为马,扬帆起航,2022追梦人文章目录一、Kafka 线上部署集群1. 操作系统2. 磁盘3. 磁盘容量4. 带宽二、Kafka 集群参数配置..原创 2022-03-09 08:00:00 · 1146 阅读 · 42 评论 -
【Kafka从入门到成神系列 一】Kafka基本概述和架构
👏作者简介:大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。📝个人公众号:爱敲代码的小黄📕系列专栏:Java设计模式、数据结构和算法📧如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步👀🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦🍂博主正在努力完成2022计划中:以梦为马,扬帆起航,2022追梦人文章目录一、消息引擎系统1. 作用2. 传输方法二、Kafka术语1. 常见术语2. Kafka 的三层消息架构3. kakfa Bro..原创 2022-03-07 09:00:00 · 1091 阅读 · 21 评论 -
美团面试官让我聊聊kafka的副本同步机制,我忍不住哭了
你可能听说过高水位(High Watermark),但不一定耳闻过 Leader Epoch。前者是 Kafka 中非常重要的概念,而后者是社区在 0.11 版本中新推出的,主要是为了弥补高水位机制的一些缺陷。鉴于高水位机制在 Kafka 中举足轻重,而且深受各路面试官的喜爱,今天我们就来重点说说高水位。当然,我们也会花一部分时间来讨论 Leader Epoch 以及它的角色定位。本文的篇幅比较长,副本之间的同步比较细节,建议留一定的时间用来阅读。原创 2022-03-01 09:00:00 · 1331 阅读 · 26 评论