pykafka的使用心得

一、kafka常见名称：broker、cluster、producer、consumer、partition、group

• broker：节点，说直白点就是kafka服务部署时使用的服务器数量，eg.一台服务器就是一个节点，以此类推
• cluster：集群，也就是部署的一整套多节点、高可用的kafka环境，对外提供的host如：10.1.254.35:9092,10.1.254.36.9092,10.1.254.37.9092这样的
• producer：生产者，即生产数据到kafka的一方
• consumer：消费者，即将数据从kafka取出的一方
• partition：分区，即生产到kafka的数据存储位置
• group：消费组，也就是给消费者分的组别

二、partition和consumer、group的关系

1、一个group，consumer数量大于partition时

如图1，向test发送消息：1，2， 3，4，5，6，7，8，9
只有C1能接收到消息，C2则不能接收到消息，即同一个partition内的消息只能被同一个组中的一个consumer消费。当消费者数量多于partition的数量时，多余的消费者空闲。
也就是说如果只有一个partition，你在同一组启动多少个consumer都没用，partition的数量决定了此topic在同一组中可被均衡的程度，例如partition=4，则可被同一组中最多4个consumer均衡消费。

2、一个group，consumer少于或等于partition时

如图2，consumer数量为2，小于partition的数量3，此时，向test2发送消息1，2，3，4，5，6，7，8，9
C1接收到1，3，4，6，7，9
C2接收到2，5，8
此时P1、P2对应C1，即多个partition对应一个消费者，C1接收到消息量是C2的两倍

3、多个group

如图3，向test2发送消息1，2，3，4，5，6，7，8，9
g3组：
C1接收到了：2，5，8
C2接收到了：3，6，9
C3接收到了：1，4，7
g4组：
C1接收到了：1，2，3，4，5，6，7，8，9

• 由此可知，启动多个组，则会使同一个消息被消费多次

三、其他内容敬请期待…