本文介绍了Kafka生产者客户端的缓存架构，包括消息累加器和Sender线程的角色。消息累加器使用双端队列存储ProducerBatch，优化批量发送，减少网络资源消耗。Sender线程异步发送消息，利用InFlightRequests缓存未响应请求，同时讨论了`max.in.flight.requests.per.connection`参数对消息顺序的影响。
前言
今天我们来看下kafka生产者客户端缓存架构的设计是怎样的？我们先整体看下发送消息到java资料分服务端的完整过程和架构：
消息累加器
其实，整个生产者客户端是由两个线程协调运行的，一个是主线程Producer线程，一个是Sender线程。由主线程生产消息，然后缓存到消息累加器（RecordAccumulator）；而Sender线程则负责从消息累加器中不断获取消息，然后发送到kakfa broker。这个过程大致如下图：
那为什么需要消息累加器呢？直接发送不是更直接？其实主要是用来缓存消息以便Sender线程可以每次批量发送，从而减少网络传输的资源消耗；而数据到服务端，服务端也可以批量写操作，从而减少磁盘I/O资源消耗，可以提升性能。这个设计，也可以运用于我们平时的业务需求场景开发中。
那么消息累加器中的结构是怎样的呢？消息累加器的内部为每个区分维护一个双端队列Deque，队列的内容是ProducerBatch；而ProducerBatch包含了一个或者多个ProducerReco
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
