《深入理解kafka-核心设计与实践原理》

JYY_JYY_

已于 2024-05-19 15:28:05 修改

阅读量359

点赞数 4

文章标签： kafka

于 2024-05-06 10:59:05 首次发布

本文链接：https://blog.csdn.net/qq_41157876/article/details/138487244

版权

本文是对于《深入理解kafka-核心设计与实践原理》的笔记和提纲整理

主要用于复习和知识点快速复习

第一章：概念

链接：《深入理解kafka-核心设计与实践原理》第一章：概念

第一章：概念

[1.1] 基本概念
[1.1.1] 基本角色与概念
[1.1.2] 其他概念(AR、ISR、OSR、HW、LEO)
[1.2] 概念图

第二章：生产者

链接：《深入理解kafka-核心设计与实践原理》第二章：生产者

第二章：生产者

[2.1] api使用
[2.1.1] 生产者：KafkaProducer
[2.1.2] 消息体：ProducerRecord
[2.1.3] 序列化器：Serializer
[2.1.4] 分区器：Partitioner
[2.1.5] 拦截器：Interceptor
[2.2] 生产者客户端的原理
[2.2.1] 整体架构
[2.2.2] 元数据的更新
[2.3] 重要的生产者参数
[2.3.1] acks
[2.3.2] max.request.size
[2.3.3] retries和retry.backoff.ms
[2.3.4] 其他参数

第三章：消费者

链接：《深入理解kafka-核心设计与实践原理》第三章：消费者

第三章：消费者

[3.1] 消费者与消费组
[3.1.1] 消费者(Consumer)
[3.1.2] 消费组(Consumer Group)
[3.1.3] 消息投递模式
[3.2] 客户端开发
[3.2.1] 必要的配置参数
[3.2.2] 订阅主题与分区
[3.2.3] 反序列化
[3.2.4] 消费消息
[3.2.5] 位移提交
[3.2.5.1] offset
[3.2.5.2] 消费后的提交方式：自动提交/手动提交
[3.2.6] 控制/关闭消费
[3.2.7] 指定位移消费
[3.2.8] 再均衡(Rebalance)
[3.2.9] 消费者拦截器
[3.2.10] 多线程实现
[3.3] 重要的消费者参数

第四章：主题和分区

链接：《深入理解kafka-核心设计与实践原理》第四章：主题和分区

第四章：主题和分区

[4.1] 主题管理
[4.1.1] 创建主题
[4.2] KafkaAdminClient
[4.3] 分区管理
[4.3.1] 优先副本的选举
[4.3.2] 分区重分配(Partition Reassignment)
[4.3.3] 复制限流
[4.3.4] 修改副本因子
[4.4] 分区和性能的考量因素

第五章：日志存储

链接：《深入理解kafka-核心设计与实践原理》第五章：日志存储

第五章：日志存储

[5.1] 文件目录布局
[5.2] kafka消息格式
[5.2.1] 消息格式
[5.2.1.1] v0版本(kafka 0.10.0前)
[5.2.1.2] v1版本(kafka 0.10.0至kafka 0.11.0)
[5.2.1.3] v2版本
[5.3] 日志索引
[5.3.1] 根据偏移量索引
[5.3.2] 根据时间戳索引
[5.4] 日志清理
[5.4.1] 日志删除
[5.4.2] 日志压缩
[5.5] 磁盘存储
[5.5.1] 顺序写磁盘
[5.5.2] 页缓存
[5.5.3] 零拷贝