Kafka消息队列组件简介

消息队列的工作模式

点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）
点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。
发布/订阅模式（一对多，数据生产后，推送给所有订阅者）
发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即使当前订阅者不可用，处于离线状态。

消息队列的优点

解耦、冗余、扩展性、灵活具有峰值处理能力、可恢复、顺序保证、缓冲、异步通信。

Kafka架构

Producer ：消息生产者，就是向kafka broker发消息的客户端；
==Consumer ==：消息消费者，从kafka broker取消息的客户端；
Topic ：可以理解为一个队列（就是同一个业务的数据放在一个topic下）；
Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个partion只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic；
==Broker ==：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic；
Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序；
Offset：偏移量。

生产者写入流程

1.producer先从zookeeper的 "/brokers/…/state"节点找到该partition的leader
2.producer将消息发送给该leader acknowledgement
3.leader将消息写入本地log
4.followers从leader pull消息，写入本地log后向leader发送ACK
5.leader收到所有ISR中的replication的ACK后向producer发送ACK

消费者组

消费者是以consumer group消费者组的方式工作，由一个或者多个消费者组成一个组，共同消费一个topic。每个分区在同一时间只能由组中的一个消费者读取，但是多个组可以同时消费这个partition。