Java笔记-----（8）消息队列-Kafka

消息队列的使用可以实现生产者和消费者的解耦，实现异步通信过载保护等功能。

（1）消息队列Kafka

Kafka是一个消息队列，可以实现发布订阅模式，在异步通信或者生产者和消费者需要解耦合的场景中经常使用，可以对数据流进行处理等。

Kafka的特性如下所示：

• Kafka支持消息的快速持久化
• 支持批量读写消息
• 支持消息分区，并且支持在线增加分区，提高了并发能力
• 支持为每个分区创建多个副本

（1.1）Kafka可以实现消息的快速持久化的原因

• KafKa将消息保存在磁盘中，并且读写磁盘的方式是顺序读写，避免了随机读写磁盘（寻道时间过长）导致的性能瓶颈。
• 磁盘的顺序读写速度超过内存随机读写。

（1.2）磁盘的操作一般情况下是远远低于对内存的操作效率，Kafka使用磁盘存储，为什么会具有高性能的特点？

• 顺序读写磁盘：
  消息在磁盘中的方式是顺序读写的，磁盘的顺序读写速度超过内存随机读写。
• 页缓存：
  页缓存是操作系统实现的一种主要的磁盘缓存，以此用来减少对磁盘I/O 的操作。具体就是把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问。当然，也会存在磁盘脏页，以及合适时机会进行刷盘操作。
• 零拷贝：
  使用零拷贝（ Zero-Copy ）技术来进一步提升Kafka性能。零拷贝是指将数据直接从磁盘文件复制到网卡设备中，而不需要经由应用程序之手。零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。

（2）Kafka中的核心概念

• 生产者（Producer）：
  生产消息，并且按照一定的规则（分区分配规则）推送到Topic的分区中。

• 消费者（Consumer）：
  从Topic中拉取消息并且进行消费，消费者自行维护消费消息的位置（offset）。

• 主题（Topic）：
  存储消息的逻辑概念，是一个消息集合，Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic。

• 分区（partition）：
  每个Topic可以划分为多个分区，每个消息在分区中都会有一个唯一编号offset，kafka通过offset保证消息在分区中的顺序，同一Topic的不同分区可以分配在不同的Broker上，partition以文件的形式存储在文件系统中。

• 副本（replica）：
  KafKa对消息进行了冗余备份，每个分区有多个副本，每个副本中包含的消息是“一样”的。每个副本中都会选举出一个Leader副本，其余为Follower副本，Follower副本仅仅是将数据从Leader副本拉到本地，然后同步到自己的Log中。

• 消费者组（Consumer Group）：
  每个consumer都属于一个consumer group，每条消息只能被consumer group中的一个Consumer消费，但可以被多个consumer group消费。

• Broker：
  一个单独的server就是一个Broker，主要用来接收生产者发过来的消息，分配offset，并且保存到磁盘中。

• Cluster & Controller：
  多个Broker可以组成一个Cluster集群，每个集群选举一个Broker来作为Controller，充当指挥中心。Controller负责管理分区的状态，管理每个分区的副本状态，监听ZooKeeper中数据的变化等工作。

• 日志压缩与保留策略：
  不管消费者是否已经消费了消息，Kafka都会保存这些消息（持久化到磁盘）,通过配置相应的保留策略，定时删除陈旧的消息。所谓日志压缩，就是定时进行相同key值得合并，只保留最新的Key-Value值。

（3）Kafka中的副本机制

使用副本机制来进行冗余备份
在分布式的存储中，进行冗余备份是一种常见的设计，主要的设计方案有同步复制和异步复制。

• 同步复制：
  当所有的Follower副本都将消息复制完成，这条消息才会被认为是提交完成，一旦有一个Follower副本出现故障，就会导致消息无法提交，极大的影响到了系统的性能。
• 异步复制：
  当Leader副本接收到生产者发送的消息后就认为当前消息提交成功。Follower副本异步的从Leader副本同步消息，但是不可以保证同步速度，当Leader副本突然宕机的时候，可能Follower副本中的消息落后太多，导致消息的丢失。

考虑到同步复制和异步复制的优缺点，Kafka引入了ISR集合。

（3.1）ISR（In-Sync-Replica）集合

可用副本集合，ISR集合表示当前“可用”且消息量与Leader相差不多的副本集合，需要满足如下条件：

• 副本所在节点必须维持着与ZooKeeper的连接。
• 副本最后一条信息的offset与Leader副本的最后一条消息的offset之间的差值不能超过指定的阈值。

HW和LEO标志：

• HW（HighWatermark）表示高水位，标记了一个特殊的offset，当消费者处理消息的时候，只能拉取到HW之前的消息。HW也是由Leader副本管理的。
• LEO（Log End Offset）是所有副本都会有的一个offset标记。

ISR、HW和LEO的工作配合机制：

• producer向此分区中推送消息
• Leader副本将消息追加到Log中，并且递增其LEO
• Follower副本从Leader副本中拉取消息进行同步
• Follower副本将消息更新到本地Log中，并且递增其LEO
• 当ISR集合中的所有副本都完成了对offset的消息同步，Leader副本会递增其HW

优势：

• 同步复制会导致高延迟，异步复制可能会造成消息的丢失。
• KafKa引入的ISR集合解决了同步复制和异步复制的缺点。
• 当Follower副本延迟过高时，将会被踢出ISR集合，避免了高延迟的Follower副本影响整个KafKa集群性能。
• 当Leader副本所在的Broker宕机，会优先将ISR集合中的Follower副本选举为Leader。

（4）Kafka的文件存储机制

Kafka中消息是以topic进行分类的，生产者通过topic向Kafka broker发送消息，消费者通过topic读取数据。

然而topic在物理层面又能以partition为分组，一个topic可以分成若干个partition，partition还可以细分为segment，一个partition物理上由多个segment组成。

在server.properties中可以设置文件的存储位置，默认为log.dirs=/tmp/kafka-logs。当我们创建一个topic的时候，可以在/tmp/kafka-logs目录中看到对应分区个数的目录数。在Kafka文件存储中，同一个topic下有多个不同的partition，每个partiton为一个目录，partition的名称规则为：topic名称+有序序号，第一个序号从0开始计，最大的序号为partition数量减1