摘要
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),之后成为Apache项目的一部分。
成千上万的企业都在使用Kafka,三分之一的世界500强公司也在其中,Kafka也是成长最快的开源项目之一,包括其生态系统也在蓬勃发展。Kafka正在成为管理和处理流式数据的利器。
Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。大家一起来跟着阿里专家学习Kafka吧。
阿里专家手码Kafka学习路线图
由于整个PDF文档比较全面,内容比较多,篇幅不允许,下面以截图方式展示 。如有需要获取资料文档的朋友 可以关注+转发后戳暗号获取:CSDN即可获得免费领取方式。
Kafka源码篇——Kafka快速入门
1.1Kafka简介
1.2以Kafka为中心的解决方案
1.3 Kafka核心概念
1.4搭建Kafka源码环境
Kafka源码篇——生产者
2.1 KafkaProducer使用示例
2.2 KafkaProducer分析
2.3 RecordAccumulator分析
2.4 Sender分析
Kafka源码篇——消费者
3.1 KafkaConsumer使用示例
3.2传递保证语义(Delivery guarantee semantic )
3.3 Consumer Group Rebalance设计
3.4 KafkaConsumer 分析
Kafka源码篇——Kafka服务端
4.1网络层
4.2API层
4.3日志存储
4.4 DelayedOperationPurgatory组件
4.5副本机制
4.6 KafkaController
4.7 GroupCoordinator
4.8身份认证与权限控制
4.9Kafka监控
Kafka源码篇——Kafka Tool
5.1 kafka-server-start脚本
5.2kafka-topics脚本
5.3 kafka-preferred-replica-election脚本
5.4 kafka-reassign-partitions脚本
5.5 kafka-console-producer 脚本
5.6 kafka-console-consumer 脚本
5.7 kafka-consumer-groups脚本
5.8 DumpLogSegments
5.9 kafka-producer-perf-test 脚本
5.10 kafka-consumer-perf-test脚本
5.11 kafka-mirror-maker脚本
Kafka的设计与实现
讨论一:Kafka 存储在文件系统上
讨论二:Kafka 中的底层存储设计
讨论三:生产者设计概要
讨论四:消费者设计概要
讨论五:Kafka 如何保证可靠性
最后
Apache Kafka与传统消息系统相比,有以下不同:
- 它被设计为一个分布式系统,易于向外扩展;
- 它同时为发布和订阅提供高吞吐量;
- 它支持多订阅者,当失败时能自动平衡消费者;
- 它将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。
随着DT时代的到来,各大互联网企业都会遇到数据量激增,数据复杂度增加以及数据变化速率变快等问题,Kafka在处理这些问题上有较好的效果,必然也就成为了Java架构师以及大数据架构师需要深度钻研的技术。
完整的笔记内容约820MB,需要的话请戳暗号获取:CSDN即可免费获取!