Kafka知识点概括

派大星@@

已于 2022-09-06 22:35:53 修改

阅读量788

点赞数 2

文章标签： java 开发语言

于 2022-09-06 22:35:21 首次发布

本文链接：https://blog.csdn.net/q462768354/article/details/126735033

版权

本文介绍了Kafka如何实现消息有序，包括生产者和消费者的有序策略，以及分区算法：轮询、随机和消息键保序策略。详细阐述了Kafka的ISR机制，以及Kafka消费的三种模式及其数据不重复和不丢失的策略。此外，还讨论了Kafka的数据清理方式，Zookeeper在Kafka中的角色以及Kafka的ack机制。

摘要由CSDN通过智能技术生成

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

kafka架构图：

kafka常用组件:

zookeeper:zookeeper负责保存broker集群元数据，并对控制器进行选举等操作

Producer: 特指消息的生产者
Consumer :特指消息的消费者
Consumer Group :消费者组，可以并行消费Topic中partition的消息
Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 broker。
Topic：特指 Kafka 处理的消息源（feeds of messages）的不同分类。
Partition：Topic 物理上的分组，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。partition 中的每条消息都会被分配一个有序的 id（offset）
Message：消息，是通信的基本单位，每个