kafka介绍

Kafka是如何工作的？

Kafka是一个分布式系统，由通过高性能TCP网络协议进行通信的服务器和客户端组成。它可以部署在本地和云环境中的裸机硬件、虚拟机和容器上。
服务器：

Kafka 作为一个或多个服务器的群集运行，这些服务器可以跨多个数据中心或云区域。其中一些服务器形成存储层，称为代理。其他服务器运行
Kafka Connect 以事件流的形式持续导入和导出数据，以将 Kafka 与现有系统（如关系数据库以及其他 Kafka
集群）集成。为了让您实现任务关键型用例，Kafka集群具有高度的可扩展性和容错能力：如果其任何服务器发生故障，其他服务器将接管其工作，以确保连续运行而不会丢失任何数据。

客户端：

它们允许您编写分布式应用程序和微服务，这些应用程序和微服务以并行、大规模和容错方式读取、写入和处理事件流，即使在网络问题或计算机故障的情况下也是如此。Kafka附带了一些这样的客户端，这些客户端由Kafka社区提供的数十个客户端增强：客户端可用于Java和Scala，包括更高级的Kafka
Streams库，Go，Python，C / C++和许多其他编程语言以及REST API。

主要概念和术语

事件记录了世界或您的业务中“发生了某些事情”的事实。它在文档中也称为记录或消息。当您向 Kafka 读取或写入数据时，您以事件的形式执行此操作。从概念上讲，事件具有键、值、时间戳和可选的元数据标头。下面是一个示例事件：

事件键：“爱丽丝”
事件值：“向 Bob 支付了 200 美元”
活动时间戳：“2020 年 6 月 25 日下午 2：06”

生产者是那些将事件发布（写入）到 Kafka 的客户端应用程序，而使用者是订阅（读取和处理）这些事件的客户端应用程序。在Kafka中，生产者和消费者完全脱钩并且彼此不可知，这是实现Kafka众所周知的高可扩展性的关键设计元素。例如，生产者永远不需要等待消费者。Kafka 提供了各种保证，例如能够精确处理一次事件。

事件被组织并持久存储在主题中。非常简单，主题类似于文件系统中的文件夹，事件是该文件夹中的文件。示例主题名称可以是“付款”。Kafka 中的主题始终是多创建者和多订阅者：一个主题可以有零个、一个或多个向其写入事件的生产者，以及零个、一个或多个订阅这些事件的使用者。可以根据需要经常读取主题中的事件 — 与传统的邮件系统不同，事件在使用后不会被删除。相反，您可以定义 Kafka 应通过每个主题的配置设置将事件保留多长时间，之后将丢弃旧事件。Kafka的性能在数据大小方面实际上是恒定的，因此长时间存储数据是完全可以的。

主题被分区，这意味着主题分布在位于不同Kafka代理上的许多“桶”上。数据的这种分布式放置对于可伸缩性非常重要，因为它允许客户端应用程序同时从多个代理读取和写入数据。当新事件发布到主题时，它实际上会追加到该主题的一个分区。具有相同事件键的事件（例如，客户或车辆ID）被写入同一分区，Kafka保证给定主题分区的任何使用者将始终以与写入时完全相同的顺序读取该分区的事件。

图：此示例主题有四个分区
P1–P4。两个不同的生产者客户端通过网络将事件写入主题的分区，从而彼此独立地将新事件发布到主题。具有相同键的事件（在图中用它们的颜色表示）将写入同一分区。请注意，如果适用，两个创建器可以写入同一分区。

若要使数据具有容错性和高可用性，可以复制每个主题，甚至可以跨地理区域或数据中心复制，以便始终有多个代理具有数据副本，以防万一出现问题，您希望对代理进行维护，等等。常见的生产设置是复制因子 3，即，始终有三个数据副本。此复制在主题分区级别执行。

Kafka API

除了用于管理和管理任务的命令行工具外，Kafka 还有五个用于 Java 和 Scala 的核心 API：

1. 用于管理和检查主题、代理和其他 Kafka 对象的管理 API。
2. 生产者 API，用于将事件流发布（写入）到一个或多个 Kafka 主题。
3. 使用者 API，用于订阅（读取）一个或多个主题并处理为其生成的事件流。
4. Kafka Streams API，用于实现流处理应用程序和微服务。它提供了更高级别的函数来处理事件流，包括转换、有状态操作（如聚合和联接）、窗口化、基于事件时间的处理等。从一个或多个主题读取输入，以便生成一个或多个主题的输出，从而有效地将输入流转换为输出流。
5. Kafka Connect API 用于构建和运行可重用的数据导入/导出连接器，这些连接器使用（读取）或生成（写入）来自外部系统和应用程序的事件流，以便它们可以与 Kafka 集成。例如，关系数据库（如 PostgreSQL）的连接器可能会捕获对一组表的每个更改。但是，在实践中，您通常不需要实现自己的连接器，因为 Kafka 社区已经提供了数百个即用型连接器。