kafka 主动消费_Kafka——性能逆天的存在

(by 刘延允，2016-12-17)

0、引言

Kafka是LinkedIn开源出来的一款消息服务器，用Scala语言实现;这货的性能是百万级的QPS(估计是挂载了多块磁盘)，我随便写个测试程序就是十万级。

1、Kafka基本概念

在Kafka中消息是按照Topic进行分类的;每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。(物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)。

每个Topic包含一个或多个Parition;Parition是物理存储上的概念，创建Topic时可指定Parition数量。每个Parition对应一个存储文件夹，文件夹下存储该Parition所持有的消息数据和索引文件。Topic进行分区划分的主要目的是出于性能方面的考虑，Kafka尽量的使所有分区均匀的分布到集群所有的节点上而不是集中在某些节点上，另外主从关系也尽量均衡，这样每个节点都会担任一定比例的分区的Leader。每个Parition是一个有序的队列，每条消息在Parition中拥有一个offset。

消息的发布者可将消息发布到指定的Topic中,同时Producer也能决定将此消息发送到哪个Parition(也可以采取随机、哈希、轮训等策略)。

消息的消费者主动从Kafka中拉取消息进行消费(pull模式)，在Kafka中一个Parition中的消息可以被无限多个消费者进行消费，每个消费者之间是完全独立，每个Consumer消费后的消息Kafka并不进行删除操作࿰