kafka客户端写入同步锁问题

转发自：

Kafka客户端异步写入时的同步锁问题_kakaweb的博客-CSDN博客

近期使用java开发基于kafka的数据流相关业务，基本处理流程为：

订阅kafka topic
数据处理
将处理后的结果写入下游kafka
在调试过程中发现，step1 & 2性能都非常高，单机（40 cores）能达到30k TPS，但加上step 3之后，性能只有6k TPS。

由于我们使用的是异步写入kafka的模式，不应该有如此大的性能下降。通过深入代码，有如下发现：

将一条record append到本地buffer时，需要对batch队列进行同步（可能有两次）

 

因此，多个线程在进程内部共享一个kafka producer实例，在频繁写入数据时，将在此处遇到同步问题。

找到原因之后，就可以针对性优化了：将kafka producer变为thread local的，每个线程拥有独立的client，有如下益处：

减少此处的同步问题
JVM对于运行中无并发的代码块，将进行偏向锁的优化，相比于无同步代码块，仅仅在进出同步块时各多一次CAS操作
进行改动后，性能提升至期望水平。
————————————————
版权声明：本文为CSDN博主「kakaweb」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/kakaweb/article/details/112764490