一文入门Kafka

kafka

kafka中文手册

kafka概述

Kafka专为分布式高吞吐量系统而设计。与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。

消息系统

• 消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。
• 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。
• 有两种类型的消息模式可用 - 一种是点对点，另一种是发布 - 订阅(pub-sub)消息系统。 大多数消息模式遵循 pub-sub 。

1. 点对点消息系统
   在点对点系统中，消息被保留在队列中。一个或多个消费者可以消耗队列中的消息，但是特定消息只能由最多一个消费者消费。 一旦消费者读取队列中的消息，它就从该队列中消失。 该系统的典型示例是订单处理系统，其中每个订单将由一个订单处理器处理，但多个订单处理器也可以同时工作。 下图描述了结构。
   
2. 发布 - 订阅消息系统
   在发布 - 订阅系统中，消息被保留在主题中。 与点对点系统不同，消费者可以订阅一个或多个主题并使用该主题中的所有消息。 在发布 - 订阅系统中，消息生产者称为发布者，消息使用者称为订阅者。
   

kafka简介

Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。
Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。

• 好处，以下是Kafka的几个好处
  • 可靠性 - Kafka是分布式，分区，复制和容错的。
  • 可扩展性 - Kafka消息传递系统轻松缩放，无需停机。
  • 耐用性 - Kafka使用分布式提交日志，这意味着消息会尽可能快地保留在磁盘上，因此它是持久的。
  • 性能 - Kafka对于发布和订阅消息都具有高吞吐量。 即使存储了许多TB的消息，它也保持稳定的性能。
• 用例，Kafka可以在许多用例中使用。 其中一些列出如下
  • 指标 - Kafka通常用于操作监控数据。 这涉及聚合来自分布式应用程序的统计信息，以产生操作数据的集中馈送。
  • 日志聚合解决方案 - Kafka可用于跨组织从多个服务收集日志，并使它们以标准格式提供给多个服务器。
  • 流处理 - 流行的框架(如Storm和Spark Streaming)从主题中读取数据，对其进行处理，并将处理后的数据写入新主题，供用户和应用程序使用。 Kafka的强耐久性在流处理的上下文中也非常有用。

kafka基础

在深入了解Kafka之前，必须了解主题，经纪人，生产者和消费者等主要术语。 下图说明了主要术语。

在上图中，主题配置为三个分区。
分区1具有两个偏移因子0和1。
分区2具有四个偏移因子0,1,2和3。
分区3具有一个偏移因子0。
副本的id与承载它的服务器的id相同。

假设，如果主题的复制因子设置为3，那么Kafka将创建每个分区的3个相同的副本，并将它们放在集群中以使其可用于其所有操作。 为了平衡集群中的负载，每个代理都存储一个或多个这些分区。 多个生产者和消费者可以同时发布和检索消息。

• Topics（主题）
  属于特定类别的消息流称为主题。 数据存储在主题中。
  • 主题被拆分成分区。
  • 对于每个主题，Kafka保存一个分区的mini版。
  • 每个这样的分区包含不可变有序序列的消息。
  • 分区被实现为具有相等大小的一组分段文件。
• Partition（分区）
  主题可能有许多分区，因此它可以处理任意数量的数据。
• Partition offset（分区偏移）
  每个分区消息具有称为 offset 的唯一序列标识。
• Replicas of partition（分区备份）
  副本只是一个分区的备份。 副本从不读取或写入数据。 它们用于防止数据丢失。
• Brokers（经纪人）
  • 代理是负责维护发布数据的简单系统。 每个代理可以每个主题具有零个或多个分区。 假设，如果在一个主题和N个代理中有N个分区，每个代理将有一个分区。
  • 假设在一个主题中有N个分区并且多于N个代理(n + m)，则第一个N代理将具有一个分区，并且下一个M代理将不具有用于该特定主题的任何分区。
  • 假设在一个主题中有N个分区并且小于N个代理(n-m)，每个代理将在它们之间具有一个或多个分区共享。 由于代理之间的负载分布不相等，不推荐使用此方案。
• Kafka Cluster（Kafka集群）
  Kafka有多个代理被称为Kafka集群。 可以扩展Kafka集群，无需停机。 这些集群用于管理消息数据的持久性和复制。
• Producers（生产者）
  生产者是发送给一个或多个Kafka主题的消息的发布者。 生产者向Kafka经纪人发送数据。 每当生产者将消息发布给代理时，代理只需将消息附加到最后一个段文件。 实际上，该消息将被附加到分区。 生产者还可以向他们选择的分区发送消息。
• Consumers（消费者）
  Consumers从经纪人处读取数据。 消费者订阅一个或多个主题，并通过从代理中提取数据来使用已发布的消息。
• Leader（领导者）
  Leader 是负责给定分区的所有读取和写入的节点。 每个分区都有一个服务器充当Leader
• Follower（追随者）
  跟随领导者指令的节点被称为Follower。 如果领导失败，一个追随者将自动成为新的领导者。 跟随者作为正常消费者，拉取消息并更新其自己的数据存储。

kafka集群架构

• Broker（代理）
  Kafka集群通常由多个代理组成以保持负载平衡。 Kafka代理是无状态的，所以他们使用ZooKeeper来维护它们的集群状态。 一个Kafka代理实例可以每秒处理数十万次读取和写入，每个Broker可以处理TB的消息，而没有性能影响。 Kafka经纪人领导选举可以由ZooKeeper完成。
• ZooKeeper
  ZooKeeper用于管理和协调Kafka代理。 ZooKeeper服务主要用于通知生产者和消费者Kafka系统中存在任何新代理或Kafka系统中代理失败。 根据Zookeeper接收到关于代理的存在或失败的通知，然后产品和消费者采取决定并开始与某些其他代理协调他们的任务。
• Producers（生产者）
  生产者将数据推送给经纪人。 当新代理启动时，所有生产者搜索它并自动向该新代理发送消息。 Kafka生产者不等待来自代理的确认，并且发送消息的速度与代理可以处理的一样快。
• Consumers（消费者）
  因为Kafka代理是无状态的，这意味着消费者必须通过使用分区偏移来维护已经消耗了多少消息。 如果消费者确认特定的消息偏移，则意味着消费者已经消费了所有先前的消息。 消费者向代理发出异步拉取请求，以具有准备好消耗的字节缓冲区。 消费者可以简单地通过提供偏移值来快退或跳到分区中的任何点。 消费者偏移值由ZooKeeper通知。

kafka工作流程

• Kafka只是分为一个或多个分区的主题的集合。
• Kafka分区是消息的线性有序序列，其中每个消息由它们的索引(称为偏移)来标识。
• Kafka集群中的所有数据都是不相连的分区联合。传入消息写在分区的末尾，消息由消费者顺序读取。 通过将消息复制到不同的代理提供持久性。
• Kafka以快速，可靠，持久，容错和零停机的方式提供基于pub-sub和队列的消息系统。 在这两种情况下，生产者只需将消息发送到主题，消费者可以根据自己的需要选择任何一种类型的消息传递系统。

发布 - 订阅消息的工作流程

以下是Pub-Sub消息的逐步工作流程：

• 生产者定期向主题发送消息。
• Kafka代理存储为该特定主题配置的分区中的所有消息。它确保消息在分区之间平等共享。 如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。
• 消费者订阅特定主题。
• 一旦消费者订阅主题，Kafka将向消费者提供主题的当前偏移，并且还将偏移保存在Zookeeper系综中。
• 消费者将定期请求Kafka(如100 Ms)新消息。
• 一旦Kafka收到来自生产者的消息，它将这些消息转发给消费者。
• 消费者将收到消息并进行处理。
• 一旦消息被处理，消费者将向Kafka代理发送确认。
• 一旦Kafka收到确认，它将偏移更改为新值，并在Zookeeper中更新它。 由于偏移在Zookeeper中维护，消费者可以正确地读取下一封邮件，即使在服务器暴力期间。
• 以上流程将重复，直到消费者停止请求。
• 消费者可以随时回退/跳到所需的主题偏移量，并阅读所有后续消息。

队列消息/用户组的工作流

在队列消息传递系统而不是单个消费者中，具有相同组ID 的一组消费者将订阅主题。 简单来说，订阅具有相同 Group ID 的主题的消费者被认为是单个组，并且消息在它们之间共享。

• 生产者以固定间隔向某个主题发送消息。
• Kafka存储在为该特定主题配置的分区中的所有消息，类似于前面的方案。
• 单个消费者订阅特定主题，假设 Topic-01 为 Group ID 为 Group-1 。
• Kafka以与发布 - 订阅消息相同的方式与消费者交互，直到新消费者以相同的组ID 订阅相同主题 Topic-01 1 。
• 一旦新消费者到达，Kafka将其操作切换到共享模式，并在两个消费者之间共享数据。 此共享将继续，直到用户数达到为该特定主题配置的分区数。
• 一旦消费者的数量超过分区的数量，新消费者将不会接收任何进一步的消息，直到现有消费者取消订阅任何一个消费者。 出现这种情况是因为Kafka中的每个消费者将被分配至少一个分区，并且一旦所有分区被分配给现有消费者，新消费者将必须等待。

此功能也称为使用者组。 同样，Kafka将以非常简单和高效的方式提供两个系统中最好的。

kafka安装步骤

kafka的官网地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/3.1.0/kafka_2.12-3.1.0.tgz
mac电脑安装
下载完成后，解压到当前目录中，或者移动到你想要的目录，比如

mv /Users/你的用户名/Downloads/kafka_2.12-3.1.0 /Users/你的用户名/kafka

cd ./kafka/bin
pwd 查看当前目录，确实为bin目录
ls  查看bin目录下的文件

启动zookeeper

打开新的terminal，进入Kafka的 bin目录，执行如下命令：

./zookeeper-server-start.sh ../config/zookeeper.properties &

启动Kafka

打开新的terminal，进入Kafka的 bin目录，执行如下命令：

./kafka-server-start.sh ../config/server.properties & 

创建topic

开启新的terminal，进入kafka的bin目录，执行如下命令

./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic testTopic --partitions 2 --replication-factor 1

出现如下图所示，说明创建成功。

查看topic

./kafka-topics.sh --list --bootstrap-server localhost:9092

查看所创建的testT

生产数据

基于上一个terminal的kafka的bin目录，执行如下命令：

./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic

先不输入数据。

消费数据

开启新的terminal，进入kafka的bin目录中，执行如下命令

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic

在生产者的terminal中发送消息:

在消费者的terminal中消费消息：

关闭zookeeper

开启新的terminal，进入kafka的bin目录，执行如下命令

sh zookeeper-server-stop.sh

关闭Kafka

在上面的terminal中，执行如下命令关闭kafka

sh kafka-server-stop.sh