Kafka消息中间件学习笔记

1 关键术语

Topic对一组消息的归纳。Producer将消息发送给Topic之后，订阅了topic的Consumer就能收到相应消息。Topic中的消息是有实效的，过了保存期限就会被丢弃以释放空间。

Consumer唯一需要维护的数据是在消息在日志中的位置，即offset。当Consumer不断读取消息，offset也会不断增加。

Producer：发送消息到Topic，并决定发到哪个分区。决定分区方法：负载均衡机制选择和通过特定分区函数指定。通常使用第二种。

Leader和followers：每个分区都由一个服务器作为“leader”，零或若干服务器作为“followers”,leader负责处理消息的读和写，followers则去复制leader.如果leader down了，followers中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色：作为它所持有的一部分分区的leader，同时作为其他分区的followers，这样集群就会据有较好的负载均衡。

两种消息发布方式：队列模式和发布-订阅模式。

队列模式（一对一）：consumers可以同时从服务端读取消息，每个消息只被其中一个consumer读到。若所有的consumer都在一个组中，这就成为了传统的队列模式，在各consumer中实现负载均衡

发布-订阅模式（一对多）：发布-订阅模式中消息被广播到所有的consumer中。如果所有的consumer都不在不同的组中，这就成为了发布-订阅模式，所有的消息都被分发到所有的consumer中

broker：表示一个kafka服务器，启动kafka的时候需要配置相应的server.properties，其中有配置  broker.id=2，表示 在集群中唯一的标注一个节点 。

leader ：负责处理消息的读和写，leader是从所有节点中随机选择的.

replicas ：列出了所有的副本节点，不管节点是否在服务中.

isr ：是正在服务中的节点.

2 独特设计：

2.1 一个分布式的、可分区的、可复制的消息系统。

2.2 客户端和服务端通过TCP协议通信。Kafka提供了Java客户端，并且对多种语言都提供了支持。

3 对于每个topic 维护一个分区，分区是一个顺序，不变的队列，每个消息在队列中有一个序号。这个序号由消费者来维护。

http://blog.csdn.net/smallnest/article/details/38491483

资源： http://blog.csdn.net/hmsiwtv/article/details/46960053