Kafka 入门 （一）

Kafka 入门（一）

Apache Kafka起源于LinkedIn，后来于2011年成为开源Apache项目，然后于2012年成为First-class Apache项目。Kafka是用Scala和Java编写的。 Apache Kafka是基于发布订阅的容错消息系统。 它是快速，可扩展和设计分布。

什么是Kafka？

Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。

优点

高吞吐量和低延迟（High throughput and low lattency）：Kafka 设计时就考虑了高吞吐量和低延迟的特点，能够处理高并发的消息传递，同时支持快速、实时的数据处理和分析。
可靠性和容错性 （Reliability and fault-tolerance）：Kafka 采用分布式架构，允许多个节点组成集群，支持数据的分区和副本备份，提供了高可用性和容错性。即使某个节点出现故障，也不会影响整个系统的正常运行。
可扩展性 （Scalability）：Kafka 集群可以根据实际需求进行水平扩展，只需要增加节点即可。同时，Kafka 的设计也支持多数据中心的部署方式，可以将数据传递到不同的数据中心，以满足不同的需求。
灵活性（Flexibility）：Kafka 支持多种数据源和数据格式，可以处理各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。同时，Kafka 也支持多种消费者和生产者的语言和协议，如 Java、Python、C++、REST 等。
可定制性（Customizability）：Kafka 提供了可插拔的 API 和插件机制，用户可以自定义各种插件，如自定义序列化和反序列化插件、自定义存储插件等。
易于使用和管理（Easy to use and management）：Kafka 的 API 和配置都相对简单，使用和管理起来相对容易。同时，Kafka 还提供了丰富的监控和管理工具，如 Kafka Manager、Kafka Monitor 等，方便用户进行管理和监控。

通常使用场景

消息传递（Messing）：将数据从一个系统传输到另一个系统。例如，一个应用程序可以将消息写入Kafka主题，另一个应用程序可以从该主题读取这些消息并执行相应的操作。这个用例可以用于许多不同的场景，如应用程序集成、实时流处理、日志处理等。与RabbitMQ不同之处，RabbitMQ只能消费一次，Kafka可以多次消费。
网站活动跟踪（Website Activity Tracking）：收集和处理网站活动跟踪数据。网站活动跟踪数据通常以事件的形式生成，例如页面浏览、搜索、购物车添加等。这些事件可以写入Kafka主题，然后可以用于实时监控、实时处理或离线处理和报告生成。
数据指标（Metrics）：聚合和处理各种数据指标。例如，一些应用程序会将指标数据写入Kafka主题，例如应用程序的请求响应时间、错误率、吞吐量等。这些数据可以用于监控应用程序性能和健康状况，并根据需要进行实时或离线处理和报告生成。
日志聚合（Log Aggregation）：聚合和处理各种日志数据。许多应用程序会将日志数据写入Kafka主题，例如应用程序日志、服务器日志、安全日志等。这些数据可以用于实时监控、离线处理和报告生成、故障排除等。
流处理（Stream Processing）：流处理是一种数据处理模式，可以在数据到达时立即对其进行处理。Kafka提供了流处理库，如Kafka Streams和KSQL，可以用于构建实时流处理应用程序。这些应用程序可以用于各种场景，如实时监控、实时报警、实时分析等。
事件源（Event sourcing）：事件源是一种数据源，它以事件的形式生成数据。例如，一个传感器可以生成事件，指示当前温度或湿度。Kafka可以用于收集和处理这些事件，然后将其转换为有用的信息。
提交日志 （Commit Log）：提交日志是一种记录系统状态的机制，它可以用于恢复系统状态或进行故障排除。例如，Kafka消费者将消费偏移量写入提交日志中，以便在发生故障时可以恢复到正确的位置。

基本概念

主题（Topic）：消息的逻辑容器，每个消息都属于一个主题。主题可以看作是消息流的类别，可以拥有多个生产者和消费者。
分区（Partition）：每个主题可以被分成多个分区，每个分区是一个有序的消息队列。分区可以提供更高的并发性和伸缩性，同时还可以实现数据冗余和备份。
生产者（Producer）：负责向主题中写入消息的应用程序，可以将消息发送到指定的主题和分区。
消费者（Consumer）：从主题中读取消息的应用程序，可以订阅一个或多个主题和分区，并从中读取消息。
代理（Broker）：Kafka 集群中的每个节点都是一个代理，负责接收来自生产者和消费者的消息，并将其存储在本地磁盘上的分区中。
偏移量（Offset）：每个分区中的每条消息都有一个唯一的偏移量，表示该消息在分区中的位置。消费者可以通过偏移量来跟踪其读取的位置。
消费者组（Consumer Group）：多个消费者可以组成一个消费者组来共同消费一个或多个主题。在一个消费者组中，每个消费者都负责消费其中一个或多个分区中的消息。
复制（Replication）：使用副本机制来提高数据的可靠性和容错性。每个分区可以配置多个副本，其中一个副本作为领导者（Leader），负责处理生产者和消费者的请求，其他副本作为追随者（Follower），复制领导者的数据并提供备份。

Kafka及生成消费Topic事件

1. 获取 Kafka

下载 Kafka

2. Kafka 安装并启动

# tar -xzf kafka_2.13-3.4.0.tgz
# cd kafka_2.13-3.4.0
# Start zookeeper
# bin/zookeeper-server-start.sh config/zookeeper.properties
# this do not need to run zookeeper
# open a new session
# generate random cluster id
$ KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
$ echo $KAFKA_CLUSTER_ID
PiqNzmreRbqqlua4uUt3ZQ
# delete files under /tmp as below
$ rm -rf /tmp/kafka-logs /tmp/zookeeper /tmp/kraft-combined-logs
# modify config/kraft/server.properties relevant ip
# controller.quorum.voters=1@192.168.79.177:9093
# listeners=PLAINTEXT://192.168.79.177:9092,CONTROLLER://192.168.79.177:9093
# advertised.listeners=PLAINTEXT://192.168.79.177:9092
$ bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
Formatting /tmp/kraft-combined-logs with metadata.version 3.4-IV0.
$ bin/kafka-server-start.sh config/kraft/server.properties

3. 创建Topic

$ bin/kafka-topics.sh --create --topic first-events --bootstrap-server 192.168.79.177:9092
Created topic first-events.
$ bin/kafka-topics.sh --create --topic second-events --bootstrap-server 192.168.79.177:9092
Created topic second-events.

4. 查看Topic

$ bin/kafka-topics.sh --list --bootstrap-server 192.168.79.177:9092
first-events
second-events

5. 查看Topic 分区

$ bin/kafka-topics.sh --describe --topic first-events --bootstrap-server 192.168.79.177:9092
Topic: first-events	TopicId: mRi_1FdLTkS45ay3haaUrA	PartitionCount: 1	ReplicationFactor: 1	Configs: segment.bytes=1073741824
	Topic: first-events	Partition: 0	Leader: 1	Replicas: 1	Isr: 1
$ bin/kafka-topics.sh --describe --topic second-events --bootstrap-server 192.168.79.177:9092
Topic: second-events	TopicId: 8J2iMtGMQdKD2MjsyCXzyw	PartitionCount: 1	ReplicationFactor: 1	Configs: segment.bytes=1073741824
	Topic: second-events	Partition: 0	Leader: 1	Replicas: 1	Isr: 1

6. 生产事件/消息

$ bin/kafka-console-producer.sh --topic first-events --bootstrap-server 192.168.79.177:9092
>first-events 01
>first-events 02
# Ctrl+D or Ctrl+C 退出

7. 消费事件/消息

$ bin/kafka-console-consumer.sh --topic first-events --from-beginning --bootstrap-server 192.168.79.177:9092
first-events 01
first-events 02
# open a new session and run the same command
$ bin/kafka-console-consumer.sh --topic first-events --from-beginning --bootstrap-server 192.168.79.177:9092
first-events 01
first-events 02
# Ctrl+C Exit to 

多个消费者消费同一个Topic，可以消费无数次，可以用于事件流。

8. 删除topic

$ bin/kafka-topics.sh --delete --topic second-events --bootstrap-server 192.168.79.177:9092
$ bin/kafka-topics.sh --list --bootstrap-server 192.168.79.177:9092
first-events