Kafka-分布式消息队列

结构图：

一、组件
1）Producer ：消息生产者，就是向kafka broker发消息的客户端；

2）Consumer ：消息消费者，从kafka broker取消息的客户端；

3）Topic ：可以理解为一个队列（就是同一个业务的数据放在一个topic下）；

4）Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个partition只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic；

5）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic；

6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序；

7）Offset：偏移量。
二、ACK 和 ISR 机制
1、ACK (Acknowledgement）即是确认字符，在数据通信中，接收站发给发送站的一种传输类控制字符。表示发来的数据已确认接收无误。
参数：
-1：leader -> 当leader保存完成才发送下一批数据
0: 不管leader和follower是否保存完成就发送下一批数据
1:leader follower -> 当leader和follower都保存完成后才发送下一批数据

2、ISR机制:
kafka不是完全同步，也不是完全异步，是一种ISR机制：

1. leader会维护一个与其基本保持同步的Replica列表，该列表称为ISR(in-sync Replica)，每个Partition都会有一个ISR，而且是由leader动态维护
2. 若一个followers比一个leader落后太多，或者超过一定时间未发起数据复制请求，则leader将其从ISR中移除
3. 当ISR中所有Replica都向Leader发送ACK时，leader才commit

三、问题：
1、kafka为什么快
因为1、kafka在磁盘上是顺序读写 2、采用的页缓存技术
2、kafka的存储和查找
kafka采用的是稀疏存储和二分查找方法