一:kafka之生产者发送消息整体流程总结
- kafkaProducer是生产者的入口,也是主线程,它还维护了sender子线程
- 在主线程中,不断的往RecordAccumulator中追加消息
- RecordAccumulator是一个消息的仓库,当有消息Batch封箱完成时,kafkaProducer会唤醒Sender线程做消息的发送处理
- Sender首先把Batch按照要发往的Node分组,生成ClientRequest请求对象。
- Sender再通过NetworkClient的send方法,把ClientRequest需要的资源准备好,如Channel,数据等。
- Sender最后通过NetworkClient的poll方法,底层通过nio把准备好的请求最终发送出去。
- Sender再同意处理Response,进行重试或者回调。
二:生产者源码精华总结
总结下kafkaProducer生产者源码那些地方值得我们学习
- kafka网络部分的设计绝对是一个亮点,kafka自己基于NIO封装了一套自己的网络通信框架,支持一个客户端与多个broker建立连接
- 处理拆包和粘包的思路和代码,绝对是教科书级别的。
- RecordAccumulator封装消息的batchs,使用的自己封装的数据结构CopyOnwriteMap,采用读写分离的思想,用来面对高并发的场景(读多,写少),提升整个流程的性能
- 同时封装消息的时候设计的内存池缓冲池,这极大的减少了GC的次数
- RecordAccumulator封装批次代码中采用的是分段加锁的思想,极大的提升了性能,看得出来作者确实编程功底很深厚
- kafka的异常体系也是设计的比较清晰,在核心流程捕获异常,底层抛异常。
- 生产者发送消息的两者策略(同步发送和异步发送)