Kafka简介

最新推荐文章于 2024-12-09 09:46:24 发布

真离谱

最新推荐文章于 2024-12-09 09:46:24 发布

阅读量506

点赞数 11

文章标签： kafka java 分布式大数据

本文链接：https://blog.csdn.net/sis12e/article/details/130286524

版权

Kafka是一个分布式消息中间件，支持发布/订阅模式，具有高吞吐、低延迟、持久化、可扩展性和容错性等特性。文章详细解释了Kafka中的Producer、Broker、Topic、Partition、Replication等核心概念，以及分区命名规则、生产和消费特点、偏移量和分区写入策略。此外，还提到Kafka会自动创建主题，且默认分区和副本数量为1，允许在不存在的topic上写入数据。

摘要由CSDN通过智能技术生成

如果往不存在的topic写数据，能不能写入成功呢？

简单介绍

是分布式的基于发布/订阅模式的消息队列(特点是先进先出)，也叫消息中间件

kafka中的常用名词解释

Producer：即生产者，向Kafka Broker发消息的客户端
Broker：kafka集群包含一个或多个服务器，每个服务器节点称为一个broker。一个Broker可以存在多个topic
Topic：消息的主题，是逻辑存在的。Kafka可以同时负责多个topic的分发。
Partition:分区，每个partition都是一个有序的队列，partition中的每条消息都会被分配一个有序的id(offset)。分区对kafka集群的好处是：实现负载均衡，提高kafka的吞吐量，分区对于消费者来说，可以提高并发度，提升效率。
Replication：副本，每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器上。
Message：每一条发送的消息主体。
Consumer：消费者,从Kafka Broker取消息的客户端
Consumer Group：消费者组，我们可以将多个消费者组成一个消费者组。在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费，一个消费者组当中，只能有对应分区数的消费者来消费同一个主题的不同分区的数据，这也是为了提高kafka的吞吐量！
Offset：消息在partition中的偏移量。每一条消息在partition都有唯一的偏移量，消息者可以指定偏移量来指定要消费的消息。
Leader：分区中的主副本,与生产者、消费者进行通信
Follower：分区中的从副本,负责同步leader中的消息（从leader中pull消息）
AR Assigned Replicas 同步副本，AR=ISR+OSR
ISR In-Sync Replicas，是指及时副本同步列表，消息同步的频率或者时效达到一定要求副本。
OSR Outof-Sync Replicas 消息同步存在滞后情况的副本集合

kafka的优势

多生产者
多消费者
基于磁盘的数据存储
灵活的伸缩性
高性能

kafka的特性

高吞吐量,低延迟:每秒可以处理几十万条消息,延迟最低只有几毫秒
可扩展性
持久性,可靠性:消息持久化到本地磁盘,并且支持数据备份防止数据丢失
容错性:允许集群中节点失败(副本数量为n,则允许n-1个节点失败)
高并发:支持多个客户端同时读写

如果往不存在的topic写数据，能不能写入成功呢？

kafka会自动创建topic，分区和副本的数量根据默认配置都是1。

kafka分区命名规则

主题名-分区编号(0---(分区数-1)) 主题是逻辑存在，分区是物理存在

生产和消费的特点

生产者生产数据,消费者消费的数据只跟leader进行通信,follower作为备份存在,follower当中的数据是从leader当中进行拉取备份。如果leder宕机,follower会通过选举机制上位成为leader,和生产者、消费者进行通信。

同一时刻，一个分区当中的数据只能被一个消费者组下面的一个消费者所消费。

同一时刻，一个消费者组当中，只能有对应分区数的消费者来消费。

在消费者不饱和的情况下，一个消费者是可以去消费多个分区的数据的。

偏移量

每个partition都是一个有序的队列，partition中的每条消息都会被分配一个有序的id(offset)

每个分区中存在一个偏移量,用来记录消费者消费的位置,偏移量永久存在。

kafka分区写入策略

所谓分区写入策略,就是生产者将数据写入到kafka主题后,kafka如何将数据分配到不同分区中的策略

常见的有三种策略，轮询策略，随机策略，和按键保存策略。其中轮询策略是默认的分区策略，而随机策略则是较老版本的分区策略，不过由于其分配的均衡性不如轮询策略，故而后来改成了轮询策略为默认策略。

1. 轮询策略

默认的策略，也是使用最多的策略，可以最大限度保证所有消息平均分配到一个分区
如果在生产消息时，key为 null，则使用轮询算法均衡地分配分区

2. 随机策略

每次都随机地将消息分配到每个分区。在较早的版本，默认的分区策略就是随机策略，也是为了将消息均衡地写入到每个分区。但后续轮询策略表现更佳，所以基本上很少会使用随机策略。

3.按键分配策略

有可能会出现数据倾斜，例如：某个 key 包含了大量的数据，因为key值一样，所有所有的数据将都分配到一个分区中，造成该分区的消息数量远大于其他的分区。
轮询策略、随机策略都会导致一个问题，生产到 Kafka 中的数据是乱序存储的。而按 key 分区可以一定程度上实现数据有序存储——也就是局部有序，但这又可能会导致数据倾斜，所以在实际生产环境中要结合实际情况来做取舍。