kafka架构

目录

Kafka概述

kafka架构

1.producer

2.consumer

3.consumerGroup

4.broker

5.topic

6.partition

7.replica

8.leader

9.follower

ISR,AR,OSR概念

---

Kafka概述

kafka是分布式的消息中间件，主要作用是解耦跟消峰。主要由三大块构成，读取消息、存储消息、消费消息。producer生产者使用push模式将数据发布到kafka，数据存储在topic的分区中，consumer消费者使用pull模式从kafka中订阅消费消息。

kafka架构

1.producer

消息生产者，就是向kafka发送消息的客户端

2.consumer

消息消费者，从kafka消费消息的客户端

3.consumerGroup

消费者组。每个consumer都有自己特定的consumerGroup，会把消息发送给不同的消费者组。但是每个消费组中只有一个消费者可以消费当前消息。

4.broker

一台kafka机器就有一个broker。可以搭建高可用集群，实现多个broker

5.topic

主题。是一个抽象的概念。生产者和消费者面对的都是topic。一个很大的topic可以分布在多broker上。

6.partition

分区。一个topic有多个partition分区。一个partition就是一个文件目录，是物理上的存在。partition在存储层面是append log文件。任何发布到此partition消息都会apeend到log文件的尾部。每条信息在文件的位置就是offset。每条信息对应一个offset，每条信息都是按照顺序append到parttition中。因为是顺序写入磁盘，所以效率高，顺序写入磁盘(600M/S)比随机写入内存速度快，这是kafka高吞吐量的重要保证。

7.replica

kafka的副本。为了保证kafka某个broker挂掉后，partition的数据不会丢失，kafka可以正常运转，加入了副本策略。一个partition分区可以有若干的副本(副本数量根据节点数量自己设置)，由一个leader和N-1个follower组成。

8.leader

每个分区多个副本的主，只有一个，生产端发送消息，消费端消费消息对象都是leader。

9.follower

每个分区多个副本的从，有N-1个follower。实时跟Leader同步消息，如果leaderGG了，某个follower会选举为新的leader。

ISR,AR,OSR概念

AR是整个副本，包含主leader和N-1个follower，ISR是leader和保持关联的follower。OSR是跟leader有延迟的follower被ISR中剔除，会加入在OSR中。

AR=ISR+OSR