kafka 原理精选

Kafka 0.8.2版本
一条消息从Producer到broker是确保了At least once，可通过设置Producer异步发送实现At most once
At most once 消息可能会丢，但绝不会重复传输
At least one 消息绝不会丢，但可能会重复传输

Kafka HA设计解析
一个典型的部署方式是一个Topic的Partition数量大于Broker的数量。同时为了提高Kafka的容错能力，也需要将同一个Partition的Replica尽量分散到不同的机器

Kafka分配Replica的算法如下：
将所有Broker（假设共n个Broker）和待分配的Partition排序
将第i个Partition分配到第（i mod n）个Broker上
将第i个Partition的第j个Replica分配到第（(i + j) mode n）个Broker上

Producer 发送机制
Producer在发布消息到某个Partition时，先通过ZooKeeper找到该Partition的Leader，然后无论该Topic的Replication Factor为多少（也即该Partition有多少个Replica），Producer只将该消息发送到该Partition的Leader。Leader会将该