Kafka 源码学习

最新推荐文章于 2024-06-05 01:35:16 发布

装B五分钟，挨打两小时

最新推荐文章于 2024-06-05 01:35:16 发布

阅读量388

点赞数

分类专栏：读书文章标签： kafka

那些你很早爬起来努力的时光，那些你熬夜训练的日子，那些你觉得太累了不想努力并强迫自己但仍咬牙坚持的时光，那才是追寻梦想的意义，那就是梦想力量。但是真正的梦想不是到达终点，而是享受旅途。如果你们能够理解这个道理。你会发现，在努力的过程中。你的梦想或许会实现，或许不会。但总有一些更伟大的事情会随之而来。

本文链接：https://blog.csdn.net/cs261244787/article/details/117252528

版权

本文深入剖析Kafka客户端发送消息的核心流程，包括sender线程的工作原理，以及Kafka内存池的设计。同时，讨论了Kafka的元数据拉取流程、核心组件和调优参数，特别是ISR机制。此外，还介绍了Kafka的网络架构，展示其如何处理高并发，并从Producer源码中汲取设计启示。

摘要由CSDN通过智能技术生成

文章目录

Kafka 源码剖析

Kafka 源码剖析

一 Kafka客户端发送消息的核心流程

线程：
Kafka 客户端总共两个线程，一个主线程，一个 sender 线程。获取元数据也是由 Sender 线程完成的

1 同步等待拉取元数据

2 对消息 KV 进行序列号
3 根据分区选择消息应该发送的分区
不传分区则算法选择 – 遍历选择分区
4 确认消息大小是否超过阈值
5 根据元数据信息，封装分区对象
6 给每条消息绑定它的回调函数
7 把消息放入缓存，封装批次（检查两次默认 1M 一次，内置 32M 一次）
8 唤醒 sender 线程（并未休眠，单纯踢它一脚，就是玩）

在这里插入图片描述

sender 流程

遍历所有分区，得到所有批次，判断批次是否需要发送

一个批次默认 16K
如果目前写入 10K 并未写满，也会发送出去。因默认 lingerMS 默认值为0 需要修改
建议修改 100MS timeToWaitMS =linerMs = 100ms # 等待 MS 必须发送
批次默认数据也应该调优，根据公司业务数据来定，设置过大也将浪费内存空间
发送判断条件
1 批次写满
2 linerMs 时间到
3 内存不够，立即发送