Kafka架构

文章目录

Kafka中的重要角色
broker
zookeeper
主题（Topic）
producer(生产者)
consumer(消费者)
consumer group(消费者组)
分区(partitions)
分区副本机制（Replicas）
偏移量（offset）
Segment

Kafka中的重要角色

broker

Kafka是一个分布式集群，多台机器构成，每台Kafka的节点就是一个Broker，保证了负载均衡和容错
broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态
一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB级消息而不影响性能

zookeeper

ZK用来管理和协调broker，并且存储了Kafka的元数据
例如：有多少个topic、partition、consumer

ZK服务主要用于对broker 的监控及治理，以及partition 的leader 选举

主题（Topic）

主题是一个逻辑概念，用于生产者发布数据，消费者拉取数据
Kafka中的主题必须要有标识符，而且是唯一的，Kafka中可以有任意数量的主题，没有数量上的限制
在主题中的消息是有结构的，一般一个主题包含某一类消息
一旦生产者发送消息到主题中，这些消息就不能被更新（更改）
producer(生产者)
生产者负责将数据推送给broker的topic
consumer(消费者)
消费者负责从broker的topic中拉取数据，并自己进行处理
consumer group(消费者组)

consumer group是kafka提供的可扩展且具有容错性的消费者机制

• 任何一个消费者必须属于某一个消费者组
• 一个消费者组可以包含多个消费者：多个消费者共同消费数据

• 多个消费者消费的数据是不一样的
• 加在一起是一份完整的数据

注：一般来说，消费者组内的消费者数量与分区数相等，这样可以保证一个消费者读取一个分区的数据(并行读取，保证了Kafka集群的高性能)

• 一个消费者组有一个唯一的ID(group ID)

分区(partitions)

• 在Kafka集群中，主题被分为多个分区,用于实现Topic的分布式存储

分区副本机制（Replicas）

• kafka每一个分区都可以有多个副本

类似于HDFS的副本机制，一个块构建多个副本

• 副本可以确保某个服务器出现故障时，确保数据依然可用
• kafka将一个分区的多个副本，划分为两种角色

Leader副本：负责对外提供读写
Follower副本：与Leader同步数据，如果Leader故障，从Follower中选举新的Leader对外提供读写

• 在Kafka中，一般都会设计副本的个数＞1，但最多与主机数量相等

偏移量（offset）

• 在一个分区中，消息是有顺序的方式存储着，每个在分区的消费都是有一个递增的id。这个就是偏移量offset
• 默认Kafka将offset存储在ZooKeeper中
• offset记录着下一条将要发送给Consumer的消息的序号，保证顺序，实现了数据的不丢失、不重复
• 偏移量在分区中才是有意义的。在分区之间，offset是没有任何意义的

Segment

• 对每个分区的数据进行了更细的划分，先写入的数据会先生成一个文件，存储到一定条件以后，将数据写入另外一个文件，每个文件就叫Segment文件
• 每个Segment对应一对【两个】文件

xxxxx.log：真正存储数据的文件 xxxxx.index：存储文件的索引(包含两部分：offset和position)