透彻理解Kafka（五）——通信机制：多路复用

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO

联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬

学习必须往深处挖，挖的越深，基础越扎实！

阶段1、深入多线程

阶段2、深入多线程设计模式

阶段3、深入juc源码解析

阶段4、深入jdk其余源码解析

阶段5、深入jvm源码解析

码哥源码部分

码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场景题】

码哥讲源码【炸雷啦！炸雷啦！黄光头他终于跑路啦！】

码哥讲源码-【jvm课程前置知识及c/c++调试环境搭建】

​​​​​​码哥讲源码-原理源码篇【揭秘join方法的唤醒本质上决定于jvm的底层析构函数】

码哥源码-原理源码篇【Doug Lea为什么要将成员变量赋值给局部变量后再操作？】

码哥讲源码【你水不是你的错,但是你胡说八道就是你不对了！】

码哥讲源码【谁再说Spring不支持多线程事务，你给我抽他！】

终结B站没人能讲清楚红黑树的历史，不服等你来踢馆！

打脸系列【020-3小时讲解MESI协议和volatile之间的关系，那些将x86下的验证结果当作最终结果的水货们请闭嘴】

Kafka Broker基于Reactor模式，通过I/O多路复用来完成请求的处理，所以具有极高的吞吐量。关于I/O多路复用，我在其它的专栏里反复讲解过多次了。本章，我再来针对Kafka讲解下它是如何实现多路复用的。

一、工作流程

每个Kafka Broker上都有一个Acceptor线程和多个Processor线程：

1. Kafka Broker通过Acceptor监听每个新的Socket连接，建立连接成功后，会采用Round Robin的轮询方式，将Socket连接分配给Processor线程；
2. Processor线程负责处理这个Socket连接，每一个Processor都有一个Selector，可以非阻塞的处理多个客户端的读写请求，包括读取数据和将响应返回给对应Client，但是Processor本身不处理具体的业务逻辑；
3. 所有Processor都会把请求放入一个Broker全局唯一的请求队列，默认大小是500，可以通过queued.max.requests参数设置；
4. 接着，有一个 KafkaRequestHandler 线程池负责不停的从队列中获取请求来处理，这个线程池大小默认是8个，可通过num.io.threads参数控制，处理完请求后的响应，会放入每个Processor自己的响应队列ResponseQueue里；
5. 最后，Processor会监听自己的响应队列，把响应拿出来通过Socket连接返回给客户端。

整个流程如下图：

通过参数num.network.threads可以设置processor线程的数量，默认值是3。