Kafka客户端异步写入时的同步锁问题

近期使用java开发基于kafka的数据流相关业务，基本处理流程为：

1. 订阅kafka topic
2. 数据处理
3. 将处理后的结果写入下游kafka

在调试过程中发现，step1 & 2性能都非常高，单机（40 cores）能达到30k TPS，但加上step 3之后，性能只有6k TPS。

由于我们使用的是异步写入kafka的模式，不应该有如此大的性能下降。通过深入代码，有如下发现：

将一条record append到本地buffer时，需要对batch队列进行同步（可能有两次）

因此，多个线程在进程内部共享一个kafka producer实例，在频繁写入数据时，将在此处遇到同步问题。

找到原因之后，就可以针对性优化了：将kafka producer变为thread local的，每个线程拥有独立的client，有如下益处：

1. 减少此处的同步问题
2. JVM对于运行中无并发的代码块，将进行偏向锁的优化，相比于无同步代码块，仅仅在进出同步块时各多一次CAS操作

进行改动后，性能提升至期望水平。