kafka系列1——基本概念——第1章初识kafka2

Ethan Yankang

于 2024-07-25 22:33:29 发布

阅读量328

点赞数 4

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/m0_68657832/article/details/140701177

版权

🌈hello，你好鸭，我是Ethan，西安电子科技大学大三在读，很高兴你能来阅读。

✔️目前博客主要更新Java系列、项目案例、计算机必学四件套等。
🏃人生之义，在于追求，不在成败，勤通大道。加油呀！

🔥个人主页：Ethan Yankang
🔥推荐：史上最强八股文||一分钟看完我的几百篇博客

🔥温馨提示：划到文末发现专栏彩蛋点击这里直接传送

🔥本篇概览：详细讲解了kafka中的基本组成成分与基本概念。🌈⭕🔥

【计算机领域一切迷惑的源头都是基本概念的模糊，算法除外】

🔥 微服务全集

🔥 kafka全集

🔥 前一篇章

🌈引出

Apache的kafka是一个分布式的消息发布订阅中间件。具有高吞吐、可扩展和容错性等特点。主要用于处理大规模的流式数据。

本博客从各个方面详细讲解了kafka的机制，并实际上手使用之，好好学完定会习得大功。（bushi，上一次面试就噶在kafka上了，好好对待之。）

1.1 概念详解

【开篇一张图系列】

Producer

生产者即数据的发布者，该角色将消息发布到 Kafka 的 topic 中。 broker 接收到生产者发送的消息后， broker将该消息追加到当前用于追加数据的 segment 文件中。生产者发送的消息，存储到一个 partition 中，生产者也可以指定数据存储的partition 。

Consumer

消费者可以从 broker 中读取数据。消费者可以消费多个 topic 中的数据。

Topic

在 Kafka 中，使用一个类别属性来划分数据的所属类，划分数据的这个类称为 topic 。如果把 Kafka 看做为一个数据库，topic 可以理解为数据库中的一张表， topic 的名字即为表名。

Partition(分区)

topic 中的数据分割为一个或多个 partition 。每个 topic 至少有一个 partition 。每个 partition 中的数据使用多个 segment 文件存储。 partition 中的数据是有序的， partition 间的数据丢失了数据的顺序。如果 topic有多个 partition ，消费数据时就不能保证数据的顺序。在需要严格保证消息的消费顺序的场景下，需要将partition 数目设为 1 。

Partition offset(分区偏移量)

每条消息都有一个当前 Partition 下唯一的 64 字节的 offset ，它指明了这条消息的起始位置。

Replicas of partition(分区副本)

副本是一个分区的备份。副本不会被消费者消费，副本只用于防止数据丢失，即消费者不从为 follower 的partition 中消费数据，而是从为 leader 的 partition 中读取数据。副本之间是一主多从的关系。

Broker(服务器节点)

Kafka 集群包含一个或多个服务器，服务器节点称为 broker 。 broker 存储 topic 的数据。如果某 topic 有 N个 partition ，集群有 N 个 broker ，那么每个 broker 存储该 topic 的一个 partition 。如果某 topic 有 N 个 partition，集群有 (N+M) 个 broker ，那么其中有 N 个 broker 存储该 topic 的一个 partition ，剩下的 M 个 broker不存储该 topic 的 partition 数据。如果某 topic 有 N 个 partition ，集群中 broker 数目少于 N 个，那么一个broker 存储该 topic 的一个或多个 partition 。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致Kafka 集群数据不均衡。（即broker>=partion）

Leader

是读写数据的入口，每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。再备份给follower。

Follower

Follower 跟随 Leader ，所有写请求都通过 Leader 路由，数据变更会广播给所有 Follower ， Follower 与 Leader保持数据同步。如果 Leader 失效，则从 Follower 中选举出一个新的 Leader 。当 Follower 与

Leader 挂掉、卡住或者同步太慢， leader 会把这个 follower 从 “in sync replicas” （ ISR ）列表中删除，重新创建一个Follower 。

Zookeeper

Zookeeper 负责维护和协调 broker 。（像主题之类的数据都是保存在zookeeper之中的）当 Kafka 系统中新增了 broker 或者某个 broker 发生故障失效时，由 ZooKeeper通知生产者和消费者。生产者和消费者依据 Zookeeper 的 broker 状态信息与 broker 协调数据的发布和订阅任务。