java kafka关闭连接池_kafka发送客户端在高并发场景下如何保证不频繁GC的

最近看kafka源码，着实被它的客户端缓冲池技术优雅到了。忍不住要写篇文章赞美一下(哈哈)。

注：本文用到的源码来自kafka2.2.2版本。

背景

当我们应用程序调用kafka客户端 producer发送消息的时候，在kafka客户端内部，会把属于同一个topic分区的消息先汇总起来，形成一个batch。真正发往kafka服务器的消息都是以batch为单位的。如下图所示：

这么做的好处显而易见。客户端和服务端通过网络通信，这样批量发送可以减少网络带来的性能开销，提高吞吐量。

这个Batch的管理就非常值得探讨了。可能有人会说，这不简单吗？用的时候分配一个块内存，发送完了释放不就行了吗。

kafka是用java语言编写的(新版本大部分都是用java实现的了)，用上面的方案就是使用的时候new一个空间然后赋值给一个引用，释放的时候把引用置为null等JVM GC处理就可以了。

看起来似乎也没啥问题。但是在并发量比较高的时候就会频繁的进行GC。我们都知道GC的时候有个stop the world，尽管最新的GC技术这个时间已经非常短，依然有可能成为生产环境的性能瓶颈。

kafka的设计者当然能考虑到这一层。下面我们就来学习下kafka是如何对batch进行管理的。

缓冲池技术原理解析

kafka客户端使用了缓冲池的概念，预先分配好真实的内存块，放在池子里。

每个ba