KafkaProducer发送消息流程(生产者横向扩展)

KafkaProducer发送消息流程(生产者横向扩展)

 

在kafka中，如果某个topic有多个partition，producer又怎么知道该将数据发往哪个partition呢？kafka中有几个原则：

1. partition在写入的时候可以指定需要写入的partition，如果有指定，则写入对应的partition
2. 如果没有指定partition，但是设置了数据的key，则会根据key的值hash与分区数取余算出一个partition
3. 如果既没指定partition，又没有设置key，则会轮询选出一个partition

 

PS：如果往不存在的topic写数据，能不能写入成功呢？kafka会自动创建topic，分区和副本的数量根据默认配置都是1。

 

Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了 两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。 main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取 消息发送到 Kafka broker。 

 

追加到RecordAccumulator时候会对消息进行分类，发往同一分区的消息会被装在同一个Deque中，Deque存放的是ProducerBatch表示一组消息

 

 

batch.size:只有数据积累到 batch.size 之后，sender 才会发送数据。

linger.ms:如果数据迟迟未达到 batch.size，sender 等待 linger.time 之后就会发送数据。