5年开发码农，靠着这部Kafka核心设计实战笔记

最新推荐文章于 2024-11-12 20:19:35 发布

媒飞王者

最新推荐文章于 2024-11-12 20:19:35 发布

阅读量889

点赞数 21

分类专栏： Java程序员文章标签： kafka 笔记分布式

本文链接：https://blog.csdn.net/weixin_58142821/article/details/136826153

版权

Java程序员专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文围绕Kafka服务端的核心概念，包括协议设计、分区分配策略、消费者协调器和事务，以及其在客户端的应用，如命令行工具和Spark集成。章节内容涵盖了可靠性分析、高级应用和监控等方面，旨在全面解读Kafka技术及其在实际项目中的应用。

摘要由CSDN通过智能技术生成

本章主要讲解Kafka服务端的一些核心概念，方便大家加深对Kafka的理解，并且为下面章节中的讲解做好铺垫。比如，本章涉及的协议设计，它可以帮助我们更好地理解组协调器和事务协调器的工作原理，还可以帮助我们理解Kafka中的数据可靠性、数据一致性等更深层次的理念。

第7章：深入客户端

=========

7.1 分区分配策略
7.2 消费者协调器和组协调器
7.3 _ consumer. offsets剖析
7.4 事务

5年开发码农，靠着这部kafka核心设计，成功入职阿里，定级P7

本章内容涉及第3章中未详细说明的分区分配策略，以及消费者协调器和组协调器之间的交互原理。本章还对主题_ consumer_ offsets 和位移提交做了深层次的描述，想必大家对位移提交有了一个更加深刻的认知。本章最后还对Kafka 中的事务进行了详述，Kafka 的事务可以看作Kafka中最难的知识点之一，它和Kafka中的控制器有的一拼。

第8章：可靠性探究

=========

8.1 副本剖析
8.2 日志同步机制
8.3 可靠性分析

5年开发码农，靠着这部kafka核心设计，成功入职阿里，定级P7

笔者接触Kafka以来被问得最多的就是Kafka的可靠性问题，本章以此为引来对Kafka相关的知识点进行讲解，最后通过可靠性分析来做一个总结，希望能够为大家在遇到此类问题时提供参考。

第9章：Kafka应用

===========

9.1 命令行工具
9.2 Kafka Connect
9.3 Kafka Mirror Maker
9.4 Kafka Streams

5年开发码农，靠着这部kafka核心设计，成功入职阿里，定级P7

本章主要介绍Kafka现有的应用工具，对一般用户而言，这些应用工具已经足够应对大多数的场景。不过，我们还可以利用Kafka现有的特性和功能来扩展一些高级应用,比如延时(迟)队列、重试队列等，大家可以在第11章中查阅相关的内容。

第10章：Kafka监控

============

10.1 监控数据的来源
10.2 消费滞后
10.3 同步失效分区
10.4 监控指标说明
10.5 监控模块

5年开发码农，靠着这部kafka核心设计，成功入职阿里，定级P7

本章主要讲述如何自定义实现-一个Kafka监控系统，其中包括页面整体的布局把控、监控数据的来源、监控指标的说明，以及监控模块在整个Kafka应用生态中所处的地位。

第11章：高级应用

=========

11.1 过期时间(TTL)
11.2 延时队列
11.3 死信队列和重试队列
11.4 消息路由
11.5 消息轨迹
11.6 消息审计
11.7 消息代理
11.8 消息中间件选型

5年开发码农，靠着这部kafka核心设计，成功入职阿里，定级P7

本章主要讲述如何针对原生的Kafka实现一些扩展类的高级应用，包含过期时间、延时队列、死信队列、重试队列、消息路由、消息轨迹和消息代理。

第12章：Kafka与Spark的集成

===================

12.1 Spark的安装及简单应用
12.2 Spark编程模型
12.3 Spark的运行结构
12.4 Spark Streaming简介
12.5 Kafka与Spark Streaming的整合
12.6 Spark SQL
12.7 Structured Streaming
12.8 Kafka与Structured Streaming的整合

5年开发码农，靠着这部kafka核心设计，成功入职阿里，定级P7

本章主要讲述了Spark中的相关概念，包括Spark的整体架构、Spark 的编程模型、Spark运行架构、Spark Streaming和Structured Streaming，这里使用的篇幅比介绍Kafka Streams时用的篇幅要多,因为笔者认为从Spark的角度去理解流式计算(处理),进而再去理解KafkaStreams要容易得多。

后记

身处大数据时代，对于分布式架构的要求会越来越高，随着技术的更新，也是需要越来越多的学习充实，比如对于Redis、Zookeeper、Nginx等常见分布式架构的深入学习，就成了我们的日常学习目标。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。