6.producer思考总结

看完最后我们总结一下KafkaProducer这儿哪些地方值得我们学习:
(1)Kafka的网络部分的设计绝对是一个亮点,Kafka自己基于NIO封装了一套自己的网络框架,支持一个客户端与多个Broker建立连接。
(2)处理拆包和粘包的的思路和代码,绝对是教科书级别的,可以把代码复制粘贴下来直接用到自己的线上的项目去。
(3)RecordAccumulator封装消息的batchs,使用的自己封装的数据结构CopyOnWriteMap,采用读写分离的思想,用来面对高并发的场景(读多,写少)提升整个流程的性能。
(4)同时封装消息的时候设计的内存缓冲池,这极大的减少了GC的次数。java的项目,最怕最怕的就是GC,java项目60%的问题都是GC引起的。
(5)RecordAccumulator封装批次时候的代码,里面封装批次的时候代码采用的是分段加锁的思想,极大的提高了性能,看得出来作者确实编程功底很深厚。可以不用加锁的地方,就不加锁,只在必须加锁的地方加锁。尽可能的去提升代码的性能,或者说是减少锁的使用的。
因为一旦我们在代码里面使用了锁以后:
1.死锁
2.锁争用
(6)Kafka的异常体系也是设计得比较清晰的,在核心流程捕获异常,底层抛异常。可以学习借鉴一下。
(7) 生产者去发送数据的时候。
提供了两个方案:
4. 同步发送:性能会差
5. 异步发送: 里面结合回调函数,很大的提升了kafka的性能。
如果我们自己去设计一个系统,这样设计思路也是值得大家去学习的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值