1.kafka消息发送的流程?
生产者:在消息发送的过程中涉及到了两个线程:main线程和sender线程。在main线程中创建了一个双端队列RecordAccumulator(默认32m)。main线程将消息发送RecordAccumulator,sender线程不断地从RecordAccumulator中拉取数据到KafkaBroker。如下图:
batch.size:只有数据积累到batch.size之后,sender才会发送数据,默认为16k。linger.ms:如果数据迟迟未到16k,sender等待linger.ms设置的时间到了之后会发送数据,单位为ms默认为0ms。
另外kafka生产者可通过设置ack的以下参数来控制发送消息流程:
0: 生产者发送的数据,不需要等数据落盘应答。
1:生产者发送过来的数据,Leader收到数据后应答。
-1:(all):生产者发送过来的数据,Leader 和 ISR 队列里面的所有节点收齐数据后应答。 -1 和 all 是等价的。
消费者:消费方式主要有推(push)和拉(pull)两种模式: