kafka之生产者

一：kafka之生产者发送消息整体流程总结

• kafkaProducer是生产者的入口，也是主线程，它还维护了sender子线程
• 在主线程中，不断的往RecordAccumulator中追加消息
• RecordAccumulator是一个消息的仓库，当有消息Batch封箱完成时，kafkaProducer会唤醒Sender线程做消息的发送处理
• Sender首先把Batch按照要发往的Node分组，生成ClientRequest请求对象。
• Sender再通过NetworkClient的send方法，把ClientRequest需要的资源准备好，如Channel，数据等。
• Sender最后通过NetworkClient的poll方法，底层通过nio把准备好的请求最终发送出去。
• Sender再同意处理Response，进行重试或者回调。

二：生产者源码精华总结

总结下kafkaProducer生产者源码那些地方值得我们学习

• kafka网络部分的设计绝对是一个亮点，kafka自己基于NIO封装了一套自己的网络通信框架，支持一个客户端与多个broker建立连接
• 处理拆包和粘包的思路和代码，绝对是教科书级别的。
• RecordAccumulator封装消息的batchs，使用的自己封装的数据结构CopyOnwriteMap，采用读写分离的思想，用来面对高并发的场景（读多，写少)，提升整个流程的性能
• 同时封装消息的时候设计的内存池缓冲池，这极大的减少了GC的次数
• RecordAccumulator封装批次代码中采用的是分段加锁的思想，极大的提升了性能，看得出来作者确实编程功底很深厚
• kafka的异常体系也是设计的比较清晰，在核心流程捕获异常，底层抛异常。
• 生产者发送消息的两者策略（同步发送和异步发送）