kafka集群详见（二）

发布与订阅接口

发布消息时，kafka client先构造一条消息，将消息加入到消息集set中（kafka支持批量发布，可以往消息集合中添加多条消息，一次行发布），send消息时，client需指定消息所属的topic。

 

订阅消息时，kafka client需指定topic以及partition num（每个partition对应一个逻辑日志流，如topic代表某个产品线，partition代表产品线的日志按天切分的结果）

client订阅后，就可迭代读取消息，如果没有消息，client会阻塞直到有新的消息发布。

consumer可以累积确认接收到的消息，当其确认了某个offset的消息，意味着之前的消息也都已成功接收到，此时broker会更新zookeeper上地offset registry（后面会讲到）。

高效的数据传输

1.  发布者每次可发布多条消息（将消息加到一个消息集合中发布）， sub每次迭代一条消息。

2.  不创建单独的cache，使用系统的page cache。发布者顺序发布，订阅者通常比发布者滞后一点点，直接使用linux的page cache效果也比较后，同时减少了cache管理及垃圾收集的开销。

3.  使用sendfile优化网络传输，减少一次内存拷贝（nio）。

无状态broker

1.  Broker没有副本机制，一旦broker宕机，该broker的消息将都不可用。

2.  Broker不保存订阅者的状态，由订阅者自己保存。

3.  无状态导致消息的删除成为难题（可能删除的消息正在被订阅），kafka采用基于时间的SLA(服务水平保证)，消息保存一定时间（通常为7天）后会被删除。

4.  消息订阅者可以rewind back到任意位置重新进行消费，当订阅者故障时，可以选择最小的offset进行重新读取消费消息。

Consumer group（包含多个consumer）

1.一个topic可以被多个Consumer group分别消费，但是每个Consumer group中只能有一个Consumer消费此消息。

2. 一个group内的consumer只能消费不同的partition，即一个partition只能被一个consumer消费。