consumer线程简介

consumer有2个线程，其中一个是heartbeat线程用来跟broker中的group coordinator保持心跳状态。另一线程线程负责consumer的所有动作。我们主要分析fetch数据的流程。

consumer的cpu消耗

• 构造fetch请求对象和序列化
• 网络发送和接收数据
• fetch response反序列化
• record数据解压
• 用户的数据处理逻辑

构造fetch请求对象和序列化

1.根据订阅的分区生成fetch对象，需要去除

• 正在发送的broker上的topic partition
• 正在读区的topic parition
• 已经返回了response的topicparition

将剩余的fetch对象按broker分组，构造fetch request准备发送。

2.有数据的情况下根据max poll record从fetch到的record缓存中获取records返回，在返回前会继续发送fetch请求，这样就可以提前预读已经获取的分区上的数据。

fetch response反序列化

1.将从网络上接受到的Bytebuffer数据序列化成FetchResponse。

2.将fetch response按topic partition拆解，这个结果包含n个之前在producer端打包好的recordbatch的数据 ,将结果放在completed fetches队列中

record数据解压

1.获取一个completed fetches中的数据。

2.对数据解压。解压的过程可看作3层拆包。

• 第一层拆包分解出原recordbatch的数据