kafka高吞吐量原理

kafka高吞吐量的原因：

一、顺序读写磁盘，充分利用了操作系统的预读机制。

二、linux中使用sendfile命令，减少一次数据拷贝，如下。

①把数据从硬盘读取到内核中的页缓存。

②把数据从内核中读取到用户空间。(sendfile命令将跳过此步骤)

③把用户空间中的数据写到socket缓冲区中。

④操作系统将数据从socket缓冲区中复制到网卡缓冲区，以便将数据经网络发出

三、生产者客户端缓存消息批量发送，消费者批量从broker获取消息，减少网络io次数，充分利用磁盘顺序读写的性能。

四、通常情况下kafka的瓶颈不是cpu或者磁盘，而是网络带宽，所以生产者可以对数据进行压缩。