深入图解Kafka producer 发送过程

在新版本的kafka中（从0.9开始），其实只有异步方式一种，是批量发送的方式

在producer端，存在2个线程，一个是producer主线程，用户端调用send消息时，是在主线程执行的，数据被缓存到RecordAccumulator中，send方法即刻返回，也就是说此时并不能确定消息是否真正的发送到broker。另外一个是sender IO线程，其不断轮询RecordAccumulator，满足一定条件后，就进行真正的网络IO发送，使用的是异步非阻塞的NIO。主线程的send方法提供了一个用于回调的参数，当sender线程发送完后，回调函数将被调用，可以用来处理成功，失败或异常的逻辑

 

在客户端调用send方法时，需要先构造好ProducerRecord对象，其包含以下字段

如果在发送时指定了partition，则消息将被保存到指定的tp分区队列，如果没有指定分区，将对key散列后来计算分区，相同key的消息将被写到同一个分区队列中，如果key是null，且使用默认的分区器，则分区器将用轮询的方法（Round Robin）将序列化后的消息均衡分布到不同的队列中，sender线程从Accumulator中取出批量数据组成一个batch发送

 

如果想使用同步方式，其实是通过异步方式间接实现，因为异步方式返回的是一个future对象，在这对象上调用get方法，将被阻塞直到返回结果。

 

如下图所示，在record被加入到accumulator时，会根据record所在的tp找到RecordBatch队列，如果不存在，就新建一个队列，在队列中取出最后一个RecordBatch，如果这个batch还有空间，就把record新追加到缓存后面，这样1个batch可能会有多个record，如果batch空间不够，就新创建一个batch，重新分配一个Max(16k, recordsize)的buffer，如果这个record超过16k，则这个batch中只会保存这1个record

 

下图详细描述了数据发送到accumulator及sender线程从accumulator取出并发送到broker的过程，

红色的粗虚线表示数据流向，红色粗实线表示sender线程不断的循环过程，在虚线旁带有数字标号的是具体的执行步骤

 

转载于:https://www.cnblogs.com/benfly/p/10000034.html