步骤:
1.获得要发送的数据,创建main线程;
2.main线程创建Producer对象,调用send方法发送数据;
3.判断是否有拦截器,拦截器是可插拔的,要用就添加,不用就不加,一般不进行使用;
4.通过序列化器,这种序列化器是Kafka自己实现的,Java中的序列化器比较重,带有大量的无效数据,kafka中无效数据只带带有一部分用于数据校验。在大数据领域都是框架自己实现;
5.分区器决定数据发往什么分区,一个分区对应一个DQueue队列;
6.数据保存在内存RecordAccumulator中默认占32m;
7.黄色的是发送块也就是一批数据ProducerBatch默认是16k;
8.发送时机:当ProducerBatch满了才发送,或者数据等待时间超过linger.ms
9.开辟sender线程负责具体数据的发送过程;
10.sender线程利用Sender对象读取内存的数据,由网络客服端NetworkClient发送数据;
11.在没有确定应答的情况下,网络客服端可以连续发送最多五个请求;
12.Selector主要是负责打通发送端到Kafka集群的通道;
13.发送成功,先清除网络客服端中的请求数据,再清除内存中的一批数据ProducerBatch;
14.发送失败,进行重试,重试次数为Integer的最大值。