![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 95
山河小帅
路漫漫其修远兮,吾将上下而求索。热爱编程的一枚技术痴迷者,喜欢不断学习充实自身,做技术分享,期望与大家共勉。
展开
-
Kafka之Consumer原理
本文主要讲了消费者消费消息的流程,使用offset保证消息消费的正确性,以及offset的存储,offset如果找不到的话的策略配置,还有offset的更新。随后又介绍了消费者组中的消费者和主题中的分区之间的消费策略,最后当消费者数量发生变化,或者分区增加的情况下,kafka采用分区再平衡机制进行维护,利用Coordinator协调者机制,来维护分区和消费者数量的一个平衡。原创 2024-06-03 22:53:21 · 912 阅读 · 2 评论 -
Kafka之Broker原理
本文介绍Broker服务器,主要讲了Broker中日志的存储,从大到小依次为Partition、Segment,副本机制的具体存储形式,是怎么进行负载均衡和容灾保障的,在Segment中我们直到了Segment是由一个Log文件和两个索引文件组成的,索引文件主要起的是一个提升查询效率的作用。随后当kafka中log文件过大的时候,kagka中提供了两种维度上的删除策略以及相同key去重压缩的compact策略。原创 2024-06-03 20:53:37 · 1416 阅读 · 1 评论 -
Kafka之Producer原理
本文主要是介绍了kafka生产者端的一些原理,先是从源码出发,介绍了生产者发送消息到Broker经历的一系列过程:先是创建了一个sender线程,然后在发送消息的过程中一次经过拦截器、累加器、分区器最后根据分区的批量消息是否新建或者满了来触发sender线程发送到Broker服务器中。原创 2024-06-03 16:58:14 · 1269 阅读 · 1 评论 -
MQ之初识kafka
MQ全称是Message Queue,直译过来叫消息队列,在消息的传输中用于保存消息的容器,主要是作为分布式应用之间实现异步通信的方式。主要由三部分组成,分别是 生产者、消息服务端和消费者生产者(Producer),是生产消息的一端,相当于消息的发起方,主要负责载业务信息的消息的创建。消息服务端(Server),是处理消息的单元,本质就是用来创建和保存消息队列,它主要负责消息的存储、投递以及跟消息队列相关的附加功能。消息服务端是整个消息队列最核心的组成部分。第三个是消费者(原创 2024-06-03 13:40:35 · 668 阅读 · 0 评论