Kafka 简介

Kafka 简介

文章为笔者学习 Kafka 的笔记，主要内容是 Kafka 官网上有关快速入门的翻译

事件流

事件流是从事件源实时捕获数据，存储数据，分发数据的技术。确保数据的连续性和可解释性。

Kafka

Kafka 是一个事件流平台（event streaming platform），主要有三个核心功能

• 发布(写入)和订阅(读取)事件流，包括从其他系统持续导入/导出数据
• 可以持续可靠地存储事件流
• 按事件发生或回顾的方式处理事件流

Kafka 是一个分布式系统，由服务端和客户端组成，两者采用TCP协议进行通信

服务端：Kafka 作为一个或多个服务器的集群运行，可以跨多个数据中心或云区域。其中一些服务器构成存储层，称为 brokers 。 其他服务器运行 Kafka Connect ，以事件流的形式不断导入和导出数据，以集成Kafka与现有系统，如关系数据库和其他Kafka集群。Kafka集群是高度可扩展和容错的：如果任何一个服务器异常，其他服务器将接管他们的工作。

客户端：客户端一般为布式应用程序和微服务应用，这些应用程序以并行、大规模和可容错的方式读取、写入和处理事件流，甚至在网络问题或机器故障的情况下也是如此。卡夫卡支持Java和Scala，包括更高级别的Kafka Streams库，for Go, Python, C/ c++，和许多其他编程语言以及REST api。

主要概念

• 事件（event）：又被称为消息或记录。Kafka 以事件的形式进行数据通信。事件具有键、值、时间戳和可选元数据头。

• 生产者（Producers）：是那些向Kafka发布(写)事件的客户端应用程序 。

• 消费者（consumers ）：是那些订阅(读取和处理)这些事件的人。

在Kafka中，生产者和消费者是完全解耦的，彼此不可知，这是实现Kafka众所周知的高可扩展性的关键设计元素。例如，生产者从不需要等待消费者。Kafka提供了各种保证，比如只处理一次事件的能力。

• 主题（topics）：事件被组织并持久存储在主题中。主题类似于文件系统中的文件夹，事件是该文件夹中的文件。 Kafka中的主题总是多生产者和多订阅者。可以根据需要任意读取主题中的事件——与传统消息传递系统不同，事件在使用后不会被删除。 相反，您可以通过每个主题的配置设置来定义Kafka应该保留您的事件多长时间，在此之后旧的事件将被丢弃。 Kafka的性能相对于数据大小来说是稳定的，所以长时间存储数据是很好的。

• 分区（partition）：主题是分区的。 这种数据的分布式放置对于可伸缩性非常重要，因为它允许客户机应用程序同时从/向多个 broker 读写数据。 当一个新事件被发布到一个主题时，它实际上被附加到主题的一个分区中。 具有相同事件键的事件被写到同一个分区，Kafka保证给定topic-partition的任何消费者都将始终按照写入时的完全相同的顺序读取该分区的事件。

• 备份（replicated）：每一个主题可以被复制,甚至跨geo-regions或数据中心,这样总有多个 broker 有一份数据以防出错。 一个常见的生产设置是复制因子为3，也就是说,数据总是有三个副本。 此复制是在主题分区级别上执行的。