Kafka进阶之Replication

概念

–

我们在前面提过Kafka的数据是根据topic来组织的，每个topic可以有很多个partition，每个partition可以有多个replica。这些replica都保存在brokers上，每个broker可能保存成百上千个replica。总得来说有两种replica：

1. Leader Replica ：每个partition只能有一个leader replica，所有的producer的请求都会发送到这个leader replica，当然consumer可以从leader上consume数据也可以从follower replica中consume数据。

2. Follower Replica ：partition中除了leader之外的replica就称之为follower replica，follower的数目可以自由配置，不像leader只能有一个。它的主要任务就是保持和leader同步，当旧的leader出现问题的时候它能够快速被promote到leader，从而保证availability。我们可以从follower中读，也可以只从leader读，这个是可以配置的。

从follower读

---

早期的Kafka只支持从leader读，并不支持从follower读。当时实现这个feature的原因主要是因为有时Kafka cluster会在多个数据中心，这样一来client假如还是一直只能从leader读取的话，网络的cost就会很大（跨DC的网络资费是很贵的），所以为了让client可以从离他最近的replica来读取数据，就需要实现follower的读支持。所以最初实现这个feature并不是因为leader的读traffic太大，想要load balance读的traffic（常见的一个replica读的原因），而是因为跨DC的cost，所以有时钱才是王道啊。

要实现支持follower读就需要实现两个功能：1）Fetch的protocol支持follower fetch。2）实现一个找到“最近”的replica的算法。

我们先来聊聊如何找“最近”的replica，其实开始有两个思路可以实现，一个是让client来查询broker中的meta data（比如说rackId， host information等），然后自己决定。另一种方法是由broker来根据client的信息决定哪个replica最好。当时选择的是后者，原因比较简单，是因为broker知道的信息更多一些，它甚至可以考虑备选replica的负载等各种因素，从而决定一个“最近”的replica，而不是单纯物理距离来判断。

而Fetch的protocol修改主要的保证是当我们从follower读数据的时候，只有被committed的message才能被consumer读取。这样我们就能保证从follower读和从leader读是类似的。要做到这件事，就需要所有的replica知道leader已经committed了哪个message，这就要求leader在发送数据到replica的时候，需要同时把high-water mark（last committed offset，详情见《Kafka基础介绍之消息commit》）发送给follower。这里需要额外注意的就是正是因为需要这个high-water mark的传送，所以follower其实是相比于leader是有一个延迟的。

Leader和follower的sync

---

Leader除了满足producer/consumer的request请求之外，一个很重要的工作就是和follower保持sync，它需要知道哪些follower目前是in-sync的，哪些follower不是。

Follower为了保持和Leader同步，需要给leader发送Fetch的request，就像一个consumer一样，不停地从leader那边获取数据。我们在《Kafka基础介绍之Consumers》中提到，获取数据的request中需要传入一个offset的值，表示下一步需要获取的信息的offset，而leader正是通过这个参数来知道follower都已经有了哪些数据，从而来判断follower的状态。

默认设置下，当一个follower有10s（可以配置）都没有发送fetch的request，那么则认为它是out-of-sync的，或者一个follower连续10s（同样可以配置）都没有能够catch-up到最新的message，也会认为它是out-of-sync。只有in-sync的follower才能成为新的leader candidate（unclean leader enable则是例外，后面会详细解释）。

这里还有一个特殊的节点：preferred leader，这个节点是当partition创建的时候的第一个leader，这个leader其实是考虑了各种load balance的。当这个节点不是leader的时候，只要它是in-sync的并且auto.leader.rebalance.enable=true，就会重新做leader election，让leader能够回到这个preferred的leader上。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

小编在这里分享些我自己平时的学习资料，由于篇幅限制，pdf文档的详解资料太全面，细节内容实在太多啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！

程序员代码面试指南 IT名企算法与数据结构题目最优解

这是” 本程序员面试宝典!书中对IT名企代码面试各类题目的最优解进行了总结，并提供了相关代码实现。针对当前程序员面试缺乏权威题目汇总这一-痛点， 本书选取将近200道真实出现过的经典代码面试题，帮助广“大程序员的面试准备做到万无一失。 “刷”完本书后，你就是“题王”!

《TCP-IP协议组(第4版)》

本书是介绍TCP/IP协议族的经典图书的最新版本。本书自第1版出版以来，就广受读者欢迎。

本书最新版进行」护元，以体境计算机网络技不的最新发展，全书古有七大部分共30草和7个附录:第一部分介绍一些基本概念和基础底层技术:第二部分介绍网络层协议:第三部分介绍运输层协议;第四部分介绍应用层协议:第五部分介绍下一代协议，即IPv6协议:第六部分介绍网络安全问题:第七部分给出了7个附录。

Java开发手册（嵩山版）

这个不用多说了，阿里的开发手册，每次更新我都会看，这是8月初最新更新的**（嵩山版）**

MySQL 8从入门到精通

本书主要内容包括MySQL的安装与配置、数据库的创建、数据表的创建、数据类型和运算符、MySQL 函数、查询数据、数据表的操作(插入、更新与删除数据)、索引、存储过程和函数、视图、触发器、用户管理、数据备份与还原、MySQL 日志、性能优化、MySQL Repl ication、MySQL Workbench、 MySQL Utilities、 MySQL Proxy、PHP操作MySQL数据库和PDO数据库抽象类库等。最后通过3个综合案例的数据库设计，进步讲述 MySQL在实际工作中的应用。

Spring5高级编程（第5版）

本书涵盖Spring 5的所有内容，如果想要充分利用这一领先的企业级 Java应用程序开发框架的强大功能，本书是最全面的Spring参考和实用指南。

本书第5版涵盖核心的Spring及其与其他领先的Java技术(比如Hibemate JPA 2.Tls、Thymeleaf和WebSocket)的集成。本书的重点是介绍如何使用Java配置类、lambda 表达式、Spring Boot以及反应式编程。同时，将与企业级应用程序开发人员分享一些见解和实际经验，包括远程处理、事务、Web 和表示层，等等。

JAVA核心知识点+1000道 互联网Java工程师面试题

企业IT架构转型之道 阿里巴巴中台战略思想与架构实战

本书讲述了阿里巴巴的技术发展史，同时也是-部互联网技 术架构的实践与发展史。

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
存中…(img-6v19VqGg-1712039694678)]
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！