Kafka:生产者发送流程

步骤:

1.获得要发送的数据,创建main线程;

2.main线程创建Producer对象,调用send方法发送数据;

3.判断是否有拦截器,拦截器是可插拔的,要用就添加,不用就不加,一般不进行使用;

4.通过序列化器,这种序列化器是Kafka自己实现的,Java中的序列化器比较重,带有大量的无效数据,kafka中无效数据只带带有一部分用于数据校验。在大数据领域都是框架自己实现;

5.分区器决定数据发往什么分区,一个分区对应一个DQueue队列;

6.数据保存在内存RecordAccumulator中默认占32m;

7.黄色的是发送块也就是一批数据ProducerBatch默认是16k;

8.发送时机:当ProducerBatch满了才发送,或者数据等待时间超过linger.ms

9.开辟sender线程负责具体数据的发送过程;

10.sender线程利用Sender对象读取内存的数据,由网络客服端NetworkClient发送数据;

11.在没有确定应答的情况下,网络客服端可以连续发送最多五个请求;

12.Selector主要是负责打通发送端到Kafka集群的通道;

13.发送成功,先清除网络客服端中的请求数据,再清除内存中的一批数据ProducerBatch;

14.发送失败,进行重试,重试次数为Integer的最大值。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员无羡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值