【Kafka从成神到升仙系列四】你真的了解 Kafka 的缓存池机制嘛_kafka服务端会主动把数据放入缓存吗

2401_84182507

于 2024-05-14 23:48:41 发布

阅读量847

点赞数 15

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84182507/article/details/138875452

版权

程序员专栏收录该内容

131 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

👏作者简介：大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，CSDN博客专家，Java领域新星创作者
📕系列专栏：Java设计模式、数据结构和算法、Kafka从入门到成神、Kafka从成神到升仙
📧如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步👀
🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦
🍂博主正在努力完成2022计划中：以梦为马，扬帆起航，2022追梦人

在这里插入图片描述

文章目录

- 一、引言

Kafka从成神到成仙系列

【Kafka从成神到升仙系列一】Kafka源码环境搭建
【Kafka从成神到升仙系列二】生产者如何将消息放入到内存缓冲区
【Kafka从成神到升仙系列三】你真的了解 Kafka 的元数据嘛

初学一个技术，怎么了解该技术的源码至关重要。

对我而言，最佳的阅读源码的方式，那就是：不求甚解，观其大略

你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。

最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。

先从整体上把关源码，再去扣一些细节问题。

举个简单的例子：

如果你刚接触 HashMap，你刚有兴趣去看其源码，在看 HashMap 的时候，有一个知识：当链表长度达到 8 之后，就变为了红黑树，小于 6 就变成了链表，当然，还和当前的长度有关。

这个时候，如果你去深究红黑树、为什么是 8 不是别的，又去查泊松分布，最终会慢慢的耗死自己。

所以，正确的做法，我们先把这一部分给略过去，知道这个概念即可，等后面我们把整个庐山看完之后，再回过头抠细节。

当然，本章我们讲述 Kafka 生产者的缓存池机制

一、引言

kafka生产端的组成主要由以下几方面构成：

生产端的初始化
元数据的更新
缓存池（BufferPool）机制
网络 I/O 模型
Sender的消息发送

其中，我们 生产端的初始化、元数据的更新已经介绍完毕，今天我们来看看 缓存池（BufferPool）机制

废话不多说，老司机开始发车

二、缓存池机制（BufferPool）

Kafka 为什么需要缓存池的机制呢？

我们先来看一下目前 Kafka 生产者这边的整体架构：

在这里插入图片描述

Kafka 拥有极大的吞吐量，并且生产者发送消息时，是按照 ProducerBatch 进行的发送。这个时候，如果我们不能合理的创建和释放 ProducerBatch，会造成严重的 GC 问题。

为了解决该问题，Kafka 设计了一套缓存池的架构机制

1. BufferPooll

竟然提到了缓存池，那么就不得不分析一下 BufferPool 的源码

public class BufferPool {
  // 整个BufferPool总内存大小 默认32M
  private final long totalMemory;
  // 当前BufferPool管理的单个ByteBuffer大小，16k 
  private final int poolableSize;
  // 因为有多线程并发分配和回收ByteBuffer，用锁控制并发，保证线程安全。
  private final ReentrantLock lock;
  // 对应一个ArrayDeque<ByteBuffer> 队列，其中缓存了固定大小的 ByteBuffer 对象
  private final Deque<ByteBuffer> free;
  // 此队列记录因申请不到足够空间而阻塞的线程对应的 Condition 对象
  private final Deque<Condition> waiters;
  // 非池化可用的内存即 totalMemory 减去 free 列表中的全部 ByteBuffer 的大小
  private long availableMemory;
  // 构造函数
  public BufferPool(long memory, int poolableSize, Metrics metrics, Time time, String metricGrpName) {
    ...
    // 总的内存
    this.totalMemory = memory;
    // 默认的池外内存，就是总的内存
    this.availableMemory = memory;
  }
}

所以，我们一开始的 BufferPool 的结构如下：
在这里插入图片描述

2. allocate()

这里我们先介绍一下缓存池分配的流程：如果你看不懂，没有关系，后面每种情况的解析及流程图，喜欢的可以点下关注吆~

/\*\*
 \* 主要为当前的batch分配内存
 \*
 \*/
public ByteBuffer allocate(int size, long maxTimeToBlockMs) throws InterruptedException {
    // 1. 如果当前申请的内存大于总内存，则直接报错
    if (size > this.totalMemory)
        throw new IllegalArgumentException("Attempt to allocate " + size
                + " bytes, but there is a hard limit of "
                + this.totalMemory
                + " on memory allocations.");

    // 2. 加锁
    this.lock.lock();
    try {
        // 3.申请内存大小恰好为16k 且free缓存池不为空
        if (size == poolableSize && !this.free.isEmpty()) {
            // 从free队列取出一个ByteBuffer
            return this.free.pollFirst();
        }

        // 4. 计算下free队列当前拥有的内存大小
        int freeListSize = this.free.size() \* this.poolableSize;
        // 如果 free + availableMemory 大于 当前的 size
        if (this.availableMemory + freeListSize >= size) {
            // 循环的将 free 队列中的 ByteBuffer 给排掉，分配给 availableMemory
            freeUp(size);
            this.availableMemory -= size;
            lock.unlock();
            return ByteBuffer.allocate(size);
        } else {
            // 5. 如果当前BufferPool不够提供申请内存大小，则需要阻塞当前线程
            int accumulated = 0;
            ByteBuffer buffer = null;
            Condition moreMemory = this.lock.newCondition();
            long remainingTimeToBlockNs = TimeUnit.MILLISECONDS.toNanos(maxTimeToBlockMs);
            // 把自己添加到等待队列中末尾，保持公平性，先来的先获取内存，防止饥饿
            this.waiters.addLast(moreMemory);
            // 循环等待直到分配成功或超时
            while (accumulated < size) {
                long startWaitNs = time.nanoseconds();
                long timeNs;
                boolean waitingTimeElapsed;
                // 当前线程阻塞等待，返回结果为false则表示阻塞超时
                waitingTimeElapsed = !moreMemory.await(remainingTimeToBlockNs,TimeUnit.NANOSECONDS);

                // 6. 申请内存大小是16k，且free缓存池有了空闲的ByteBuffer
                if (accumulated == 0 && size == this.poolableSize && !this.free.isEmpty()) {
                    // 从free队列取出一个ByteBuffer
                    buffer = this.free.pollFirst();
                    // 计算累加器
                    accumulated = size;


![img](https://img-blog.csdnimg.cn/img_convert/528a89364fd6fc5318137598b55211b7.png)
![img](https://img-blog.csdnimg.cn/img_convert/a884f8c033e7cd92f49593b6960c935f.png)
![img](https://img-blog.csdnimg.cn/img_convert/020ae0209147f8508613be4333499b52.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

-ID4nzFTU-1715701698568)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

2401_84182507

关注

15
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
【Kafka从成神到升仙系列四】你真的了解 Kafka 的缓存池机制嘛_kafka服务端会主动把数据放入缓存吗

如果你刚接触 HashMap，你刚有兴趣去看其源码，在看 HashMap 的时候，有一个知识：当链表长度达到 8 之后，就变为了红黑树，小于 6 就变成了链表，当然，还和当前的长度有关。最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。
复制链接

扫一扫