Kafka为何要设计缓冲池机制？初看一脸懵逼，看懂直接跪下！

V-xin：ruyuanhadeng获得600+页原创精品文章汇总PDF

目录

• 1、Kafka的客户端缓冲机制
• 2、内存缓冲造成的频繁GC问题
• 3、Kafka设计者实现的缓冲池机制
• 4、总结一下

这篇文章，同样给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？

---

1、Kafka的客户端缓冲机制

首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的。

也就是说，消息会先写入一个内存缓冲中，然后直到多条消息组成了一个Batch，才会一次网络通信把Batch发送过去。

整个过程如下图所示：

2、内存缓冲造成的频繁GC问题

那么这种内存缓冲机制的本意，其实就是把多条消息组成一个Batch，一次网络请求就是一个Batch或者多个Batch。

这样每次网络请求都可以发送很多数据过去，避免了一条消息一次网络请求。从而提升了吞吐量，即单位时间内发送的数据量。

但是问题来了，大家可以思考一下，一个Batch中的数据，会取出来然后封装在底层的网络包里，通过网络发送出去到达Kafka服务器。