Kafka工作原理

 

一、消息路由策略

在通过 API 方式发布消息时，生产者是以 Record 为消息进行发布的。Record 中包含 key与value，value 才是我们真正的消息本身，而 key 用于路由消息所要存放的 Partition。消息要写入到哪个 Partition 并不是随机的，而是有路由策略的。

1) 若指定了 partition，则直接写入到指定的 partition；

2) 若未指定 partition 但指定了 key，则通过对 key 的 hash 值与 partition 数量取模，该取模

结果就是要选出的 partition 索引；

3) 若 partition 和 key 都未指定，则使用轮询算法选出一个 partition。

二、消息写入算法

 

消息生产者将消息发送给 broker，并形成最终的可供消费者消费的 log，是一个比较复杂的过程。

1) producer 向 broker 集群提交连接请求，其所连接上的任意 broker 都会向其发送 broker

controller 的通信 URL，即 broker