kafka producer线程与吞吐量

1.问题背景

kafka是以高吞吐量著称的，但日前解决一个实际问题中，发现使用不当仍会无法充分利用起吞吐量。我们的场景如下：

有两个kafka集群，需要从上游kafka读一个topic的消息，做一些自定义处理，再写到下游kafka的特定topic（有人说用flume，确实可以，不过自定义处理比较复杂的时候用flume就有点麻烦了）

这里集中在写这一端（读没有问题），开始使用最简单的方式，配一个Producer的bean，然后Producer.send()写下游。压测的时候发现写出去的流量很低，单进程出口流量大概只有1-2Mbps，低的难以接受

 

2.配置项

开始以为是配置有问题，所以尝试修改一些Producer的配置项。我们用的是异步模式（producer.sync=false），设置了一些提高吞吐量的配置项（包括有些可能牺牲数据一致性的选项），主要包括下面这些项

queue.enqueue.timeout.ms=0 #异步队列满后不阻塞

batch.num.messages=500 #加大异步发送批次大小（减少连接次数）

compression.codec=snappy #使用消息压缩

request.required.acks=-1 #不要求接收端回复ack

修改配置后吞吐量确实有一些提升，出口流量到5Mbps左右，但是仍然远低于预期，说明配置不是主要问题

 

3.源码排查

配置无法解决，只好去查一下源码。看到异步模式下Producer实际发送是在一个独立的线程类ProducerSendThread中进行，然后关键来了：一个Producer实例只包含一个ProducerSendThread线程（