Kafka之常用的一些概念讲解

partition：

分区，每个topic下可以有多个partition，每个partition都是一个有序的队列

kafka消费topic是以group为单位来的，一个group消费一个topic。一个group能容纳多个consumer。consumer消费是以分区(partition)来的，一个consumer可以消费一个或多个partition，一个partition只能被一个consumer消费。(如果一个consumer group中的consumer个数多于topic中的partition的个数，多出来的consumer会闲置(idle),所以如果为了增加消费者能力，只简单增加消费者数量不一定会有用)

消费组数量必须小于等于partition数量，这样每个消费者才会分配到partition

replicationFactor：

副本，可以为topic创建多个副本，但是如果只在一台机器上部署（非集群），那么只能创建一个副本

Offset

表示：partition中消息的id

LEO（LogEndOffset）

表示：每个副本（replicas）的log最后一条Message的位置

HW（HighWatermark）

表示：各个副本（replicas）数据间同步且一致的offset位置，即表示allreplicas已经commit的位置

HighWatermark之前的数据才是commit的，才是对消费者可见的

HighWatermark也是ISR集合中最小的LEO

HighWatermark的作用：

• Follower故障

  • Follower发生故障后会被临时踢出ISR（动态变化），待该follower恢复后，follower会读取本地的磁盘记录的上次的HW，并将该log文件高于HW的部分截取掉，从HW开始向leader进行同步，等该follower的LEO大于等于该Partition的hw，即follower追上leader后，就可以重新加入ISR

• Leader故障

  • Leader发生故障后，会从ISR中选出一个新的leader，为了保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于hw的部分截掉（新leader自己不会截掉），然后从新的leader同步数据

ISR：

有效的副本集合（leader与follower集合）

Segment：

每个partition下会有多个Segment，每个Segment下会有一个index文件以及一个log文件，index文件存储索引信息，log文件存储压缩后的数据信息，Segment从0开始，当log文件的大小达到设置的存储大小（默认是1G），就会生成第二个Segment信息，第二个Segment文件名为第一个Segment中最后一条消息的Offset+1