Kafka权威指南 —— 读书笔记_kafka 权威指南读书笔记-CSDN博客

本文链接：https://blog.csdn.net/qq_22096121/article/details/116353342

在这里插入图片描述

本文摘自：Kafka 权威指南（Kafka: The Definitive Guide）

文章目录

第一章初识Kafka
第二章安装Kafka
第三章 Kafka生产者
第四章 Kafka消费者
第五章深入Kafka
第六章可靠的数据传递
第七章构建数据通道
第八章跨集群数据镜像
第九章管理Kafka
第十章监控Kafka
第十一章流式处理
Kafka文件存储

第一章初识Kafka

1.1 发布与订阅消息系统

1.1.1 如何开始

发布与订阅消息系统都是从一个简单的消息队列开始的。从最初的两个系统直连，越来越多的服务或应用程序直连，会使得节点加你的连接一团糟。这是，技术债务开始凸显，于是创建了一个独立的应用程序来用于接收其他程序的度量指标，并为其他系统提供了了一个查询服务器。

1.1.2 独立的队列系统

其他的系统也通过这样的方式解耦的发布者和订阅者，这比之前点对点的连接要好得多，但这里有太多重复的地方。此时需要一个单一的集中式系统，它可以通过发布通用类型的数据，其规模可以随着公司业务的增长而增长。

1.2 Kafka登场

Kafka就是为了解决上述问题而设计的一款基于发布与订阅的消息系统。他一般被称为，

分布式提交日志
分布式流平台
Kafka的数据是按照一定顺序持久化保存的，可以按需读取。此外，Kafka的数据分布在整个系统里，具备数据故障保护和性能伸缩能力。

1.2.1 消息和批次

Kafka的数据单元被称为消息。为了提高效率，消息被分批次写入Kafka。批次就是一组消息，这些消息属于同一个主题和分区。把消息分成批次传输可以减少网络开销。不过，这要在时间延迟和吞吐量之间做出权衡：批次越大，单位时间内处理的消息就越多，单个消息的传输时间就越长。批次数据会被压缩，这样可以提升数据的传输能力，但要做更多的计算处理。

1.2.2 模式

额外的一些结构来定义消息内容，消息模式(schema)有许多可用的选项，通常由序列化器完成这些工作。

1.2.3 主题和分区

Kafka的消息通过主题进行分类。主题可以被分为若干个分区，一个分区就是一个提交日志。由于一个主题一般包含几个分区，因此无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。Kafka通过分区来实现数据容易和伸缩性。分区可以分布在不同的服务器上，也就是说，一个主题可以跨多个服务器，以此来提供比单个服务器更强大的性能。

1.2.4 生产者和消费者

生产者创建消息。一般情况下，一个消息会被发布到一个特定的主题上，而并不关系特定消息会被写到哪个分区。某些情况下，会把消息直接写到指定的分区，这通常是通过消息键和分区器来实现的，分区器为键生成一个三劣质，并将其映射到指定的分区上。
消费者读取消息。消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。消费者通过检查消息的偏移量来区分已经读取过的消息。
偏移量是一种元数据，他是一个不断递增的整数值。每个消息的偏移量是唯一的。
消费者是消费者群组的一部分，会有一个或多个消费者共同读取一个主题。群组保证每个分区只能被一个消费者使用。消费者与分区之间的映射通常被称为消费者分区的所有权关系。

1.2.5 broker和集群

一个独立的Kafka服务器被称为broker。
broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。
broker为消费者提供服务，对读取分区的请求做出响应。
单个broker可以轻松处理数千个分区以及每秒百万级的消息量。
broker是集群的组成部分。每个集群都有一个broker同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。在急群众，一个分区从属于一个broker，该broker被称为分区的首领。
保留消息（在一定期限内）是Kafka的一个重要特性，要么保留一段时间要么保留消息达到一定的字节数，如7天1GB。达到这些限制，旧的消息就会被删除。