kafka源码阅读

最新推荐文章于 2024-07-13 15:14:03 发布
最新推荐文章于 2024-07-13 15:14:03 发布
阅读量291 收藏
点赞数
分类专栏： kafka 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shandadadada/article/details/105074078
版权
源码 同时被 2 个专栏收录
22 篇文章 2 订阅
订阅专栏
kafka
10 篇文章 0 订阅
订阅专栏

1、疑问点：

  • kakfa 网络模型
  • kafka 协议&基础数据结构
  • kafka 分区&副本逻辑
  • kafka 文件读写
  • kafka offset和highWatermark原理
  • kafka leader&follower数据同步
  • kafka leader如何选举
  • kafka producer和consumer源码
  • kafka和rocketmq/qmq/rabbitmq/activemq的优缺点比较

接下来带着疑问点撸源码......

 

2、源码解读：

3、参考文章

kafka集群metadata管理：https://cloud.tencent.com/developer/article/1329510

4、fork代码-加上部分自己的注释

https://gitee.com/shandadadada/kafka-annotation

 

shandadadada
关注
专栏目录
kafka源码核心阅读
Tongya1998的博客
07-20 1386
学习kafka的核心源码，包括源码的下载，生产者消费者及服务端的源码流程解读与图解
Kafka源码阅读笔记
j简说Linux的博客
11-16 111
2）生产者需要携带 ack 用来决定应该什么时候回复，分别有 0,1,-1，当为 0 时说明不需要回复，当为 1 时表示集群接收了就回复，当为-1 时需要所有 isr（正常同步的）都接收确认了才能回复，接收数据后，会将这条消息存入延迟执行队列，当检测其它 isr 来抓取数据时，会更新并检查是否可以回复生产者。7）当在 Log 中需要查找获取一条消息时，会根据偏移首先定位到处于哪个 logsegment 文件，再根据索引文件定位，Logsegment 是由跳跃表组成的，便于搜索，再从数据文件读取消息；
kafka源码阅读-Broker启动流程
最新发布
mhHao的博客
07-13 631
Kafka源码包含多个模块，每个模块负责不同的功能。服务端源码：实现Kafka Broker的核心功能，包括日志存储、控制器、协调器、元数据管理及状态机管理、延迟机制、消费者组管理、高并发网络架构模型实现等。Java客户端源码：实现了Producer和Consumer与Broker的交互机制，以及通用组件支撑代码。Connect源码：用来构建异构数据双向流式同步服务。Stream源码：用来实现实时流处理相关功能。Raft源码：实现了Raft一致性协议。Admin模块。
Kafka源码阅读
huangyueranbbc的博客
03-04 146
一、源码编译 官网下载源码，17年出版的书中源码使用的版本为kafka-0.10.1。 准备JDK1.8、Idea、maven、gradle环境。注:kafka-0.10.1不支持gradle5.X，请使用gradle4.X版本 配置kafka源码中的maven地址，改为: maven { url'http://maven.aliyun.com/nexus/content/groups/public/'} maven { url'http://maven.aliyun...
Kafka源码阅读 —— KafkaController(1)
c395318621的专栏
09-25 656
KafkaController 启动在KafkaServer.startup()中,KafkaController对象被构建，在启动KafkaApis、replicaManager后，KafkaController.startup()被调用。Kafka集群中每个Broker都会调用startup()函数，但是一个集群只有一个Broker能够成为Controller。那么，谁将成为这个被选中的人呢？
Confluent.Kafka源代码_测试.rar
05-30
《C#版Confluent.Kafka源代码及测试解析》 在现代大数据处理领域，Apache Kafka作为一款分布式流处理平台，被广泛应用于日志聚合、消息传递和实时数据管道等场景。而Confluent.Kafka是针对Kafka的C#客户端库，提供...
Kafka 3.5.0 源代码压缩包
07-19
这是 Apache Kafka 3.5.0 版本的源代码压缩包，包含了 Kafka 的完整源代码和相关文档。Kafka 是一种高吞吐量的分布式发布订阅消息系统，能够处理消费者网站的实时数据流。这个资源对于学习 Kafka 的内部工作原理，...
Kafka技术内幕：图文详解Kafka源码设计与实现+书签.pdf+源码
12-02
《Kafka技术内幕：图文详解Kafka源码设计与实现》是一本深入解析Apache Kafka的专著，旨在帮助读者理解Kafka的核心设计理念、内部机制以及源码实现。这本书结合图文并茂的方式，使得复杂的概念变得更为易懂。同时，...
Kafka源码阅读 —— KafkaController(4)
c395318621的专栏
11-14 561
在kafka 0.8以后开始提供High Availability机制，即一个broker宕机后可以不影响服务。在集群规模越来越大的今天，HA对于消息中间件至关重要。broker startup“Kafka源码阅读 —— KafkaController(1)”中提到，在broker启动时会调用KafkaServer.startup，该函数中会创建一个KafkaHealthcheck类对象，并调用Ka
kafkaI源码
06-21
kafka的源码文件，版本为0.8.1，现在已经出了更高版本，如需要更高版本，可上apache网站搜索下载
kafka-cn-notes：kafka2.7源码阅读分析中文注释
02-25
kafka-cn-notes kafka2.7源码阅读分析中文注释
Kafka源码阅读 —— KafkaController(2)
c395318621的专栏
09-25 774
Controller与broker之间的消息通道当Controller做出动作时，需要向集群中的broker发送控制消息。发送的消息三种：LeaderAndIsrRequest、UpdateMetadataRequest和StopReplicaRequest， broker收到消息后，通过KafkaApis.handle进行处理————事实上，KafkaApis.handle是broker上的业务线
Kafka源码阅读(一)：Kafka Producer整体架构概述及源码分析
NullPointerException的博客
02-20 620
整体架构 线程         整个 Kafka 客户端由两个线程协调运行，即Main线程和Sender线程。         在Main线程中由KafkaProducer创建消息，然后通过Interceptor、Serializer和...
Kafka源码阅读-Controller(一)
rover
06-05 258
引用 Kafka Controller Internals: In a Kafka cluster, one of the brokers serves as the controller, which is responsible for managing the states of partitions and replicas and for performing administrative tasks like reassigning partitions. 集群中的broker尝试在Zook
Kafka源码的学习框架：覆盖Kafka核心机制的方方面面
Java圈全能架构师的博客
03-24 294
一、Kafka 总览 1）kafka 集群是由 broker 组成，每个 borker 拥有一个 controller，基于 zookeeper 做集群 controller leader 选举，以及存储集群核心元数据，leader controller 负责管理整个集群； 2）以 Topic->partition-> replication 来存储生产者数据，每个 partition 为一个 Log，log 分段存储于文件中； 3）kafka 集群管理消费者信息和消费者消费记录，这些信息
kafka源码阅读--源码剖析、思路介绍
weixin_40650734的博客
06-12 346
源码剖析： 场景驱动方式学习源码，根据源码一步一步分析流程 画图分析， 看源码的时候边分析边画图 看到写的比较好的源码， 分析里面的一些架构技巧，代码编程的技巧。 内容介绍： producer生产数据的流程 broker端 broker如何接收数据（高并发） 数据写入（leader partition) 副本数据同步（HW， LEO） kafka的集群管理（controller结合zookeeper管理集群） consumer 消费数据 ...
kafka源码阅读【1-概念介绍】
Shinlyzsljay的博客
03-25 324
阅读源码之前，我们首先需要把概念搞清楚，这篇文章主要介绍kafka相关的各自概念
kafka源码安装linux
09-12
要在Linux上安装kafka源码，您可以按照以下步骤进行操作： 1. 首先，从官方网站下载并安装Java Development Kit（JDK）。确保您选择与您的操作系统和硬件架构匹配的JDK版本，并按照官方文档中的说明进行安装。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值