2024年Linux最全Kafka 入门知识，看这一篇就够了（上）_kafka入门(4)，Linux运维开发者必看避坑指南

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Kafka 作为一个高吞吐的分布式的消息系统，目前已经被很多公司应用在实际的业务中了，并且与许多数据处理框架相结合，比如 Hadoop，Spark 等

与传统的消息队列相比（RaabitMQ、RocketMQ等）除了异步、消峰、解耦三大经典场景之外，Kafka 有着更多的适用场景：

1. Kafka 被设计为一个分布式系统，便于向外拓展
2. Kafka 支持高吞吐量
3. Kafka 可以将消息持久化到磁盘，因此可以用于批量消费

Kafka 角色

• 生产者（producer）：也叫发布者，负责创建消息
• 消费者（consumer）：也叫订阅者，负责消费（读取）消息
• Kafka server（broker）：producer 和 consumer 都是 Kafka 的 客户端，Kafka 服务端通常被称作 broker

02 topic & partition

Kafka 是发布/订阅模型，消息以 topic 来分类，每一个 topic 都对应一个消息队列，订阅这个 topic 的 consumer 都会能够消费到对应的消息

为了提高吞吐量，实现 topic 的负载均衡，Kafka 在 topic 下又引用了分区（partition）的概念，能够大大提高消费速率

例如某个 topic 下有 n 个队列，那么这个 topic 的并发度就提高 n，同时可以支持 n 个 consumer 并行消费该 topic 中的消息

对于每一个 topic ，Kafka 会维护其 partition 下的 log，如下图所示

每一个 patition 都是一个顺序的、不可变的消息队列，并且可以持续地添加。patition 中的消息都被分配了一个唯一的序列号，也叫做偏移量（offset）

这就会导致 Kafka 是没有办法删除消息的，Kafka 会保持所有的消息，无论消息是否被消费，保持到它们过期

实际上 consumer 只是拥有 offset，正常情况当 consumer 消费消息的时候，offset 也线性的的增加，consumer 可以将 offset 重置为更老的一个 offset，重新读取消息

因为每一个 consumer 对应一个 partition，所以不会影响其他 consumer 的操作

PS：topic 是逻辑上的概念，消息真正是存储到 partition 中去的

03 Kafka 分布式

Kafka 一开始就被设计成了分布式的架构，有集群（cluster）的概念

一个 Kafka 服务器被称为 broker，broker 接收 producer 的消息并存入磁盘，consumer 连接 broker 消费消息

若干个 broker 组成一个 cluster，集群内某个 broker 会成为集群控制器（cluster controller），负责管理集群，包括分配分区给 broker，监控 broker 等

在 cluster 中，一个分区由一个 broker 负责，这个 broker 是这个分区中的 leader，当然一个分区可以被复制到多个 broker 上实现冗余

当broker出现故障时还可以将其分区重新分配到其他的broker上，保证高可用性

Kafka是如何实现数据冗余的呢？

为了实现数据冗余，保证业务的高可用性，Kafka 引入了副本的概念

在 Kafka 集群里，副本有两种角色：

1、对外提供读写服务的称之为 leader；

2、不对外提供读写服务的称之为 follower，follower 会去同步 leader 的数据以此来保证数据一致性

Kafka 会尽量的把 partition 的副本均分在不同的 broker 上，并从中挑选一个作为 leader 副本

如上图所示：每个 broker 有两个主题，每个主题有两个分区，每个分区有一个副本，分别在不同的 broker 上

只要还存在一个副本，那么 producer 提交的数据就不会丢失，如果某些副本落后于 leader 副本，那么落后的副本就会被移出

如果 leader 副本所在的主机宕机，那么集群就会从剩余的 follower 副本中重新挑选一个副本作为新的 leader 副本，但不是所有的 follower 都有资格去竞选 leader 的（有些数据落后于 leader 太多的 follower 是不能参加竞选的）

为了能够更好地管理副本，Kafka 引入了 ISR——Kafka 动态维护的一组同步副本集合

每个 topic 下的 partition 都有自己的 ISR 列表，ISR 中所有的 follower 都与 leader 保持同步状态，而且 leader 也在 ISR 列表中，只有在自己 ISR 列表中的副本才能参与 leader 竞选

ISR 中的副本是如何保持同步的呢？

每个 partition 的副本中都会维护三个位移量：

1. 起始位移：副本中第一条消息的位置
2. 高水印标记（HW）：表示副本最新一条被提交的消息的位置，这个值决定了 consumer 可以读到的消息最大范围，超过 HW 的消息（图中超过5，6）属于未提交消息，consumer 是读取不到的
3. 日志末端位移（LEO），表示下一条代写入消息的位移，也就是说 LEO 指向的位置是没有消息的，当写入一条消息时 LEO 会加1

leader 和 follower 都具有这三个位移量，partition 的 HW 值就是 leader 的 HW 值，并且 leader 所在的 broker 上还保存了 follwer 的 HW 和 LEO 值

什么时候更新 LEO 值

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！