Kafka基础

1. 用途

1. 流量削峰
2. 流计算

2. Kafka的核心组件

在Kafka中，Producer、Broker和Consumer是三个关键的角色，它们在整个消息传递过程中扮演不同的角色和功能：

1. **Producer（生产者）**：
   生产者是消息的发送方，负责将消息发布到Kafka的主题（Topic）中。生产者将消息发送给Kafka集群中的一个或多个Broker，然后由Broker将消息持久化并进行分发。生产者可以根据业务需求配置消息的发送策略，例如同步发送、异步发送等。

2. **Broker（代理服务器）**：
   Broker是Kafka集群中的中间服务器，负责接收、存储和分发消息。每个Broker都有自己的存储空间，将消息以分区（Partition）的方式存储在本地磁盘上。Broker负责管理主题的元数据、分区的分布和复制，以及处理生产者和消费者的请求。多个Broker组成的集群共同构成了一个高可用、分布式的消息传递平台。

3. **Consumer（消费者）**：
   消费者是消息的接收方，负责从Kafka的主题中订阅消息并进行消费。消费者从Broker中拉取（Pull）消息，可以控制消息的消费进度和速率。消费者可以以不同的消费者组（Consumer Group）身份订阅同一个主题，这样可以实现消息的广播或分组消费。

综合起来，Producer负责将消息发布到Kafka，Broker负责存储和分发消息，而Consumer负责订阅和消费消息。这三个角色共同构成了Kafka的核心组件，使得Kafka能够实现高性能、高可用的消息传递和处理。

3. Kafka中Topic的概念

消息类别，Kafka按照topic来分类消息

Topic是对消息的分类，属于Producer（生产者）和Consumer（消费者）之间的概念

Producer会把消息接受到特定的Producer，Broker会管理和分配这些消息。
Consumer会从Consumer特定的区域请求拿到属于他的topic消息，然后进行消费。
消费完成之后使用offset标记

4. kafka维护消息状态的跟踪方法

Kafka中的Topic会被分为若干分区，每个分区同一时间只能被一个consumer消费
consumer消费之后会把消息offset标记，通过位置偏移来追踪消费状态

5. zookeeper对于kafka的作用是什么

1. Zookeeper在kafka集群中用于节点之间的通信
2. Zookeeper用于管理consumer提交的偏移消息
3. Consumer提交offset消息过程：
    1. Consumer用自己特有的偏移量把消费后的消息提交给Zookeeper，这个过程异步
    2. Zookeeper保存偏移后的消息到自己的数据结构里面
    3. 如果Consumer故障后重启，可以向Zookeeper查询上次提交偏移的位置，从而消费后续的消息。
        避免了数据的重复或丢失

6. kafka判断一个节点还活着的有那两个条件

1. 节点和Zookeeper保持链接，Zookeeper会不定时发送心跳的探测
2. 如果follow节点，需要定时同步master的同步消息

7. kafka 如何不消费重复数据

1. 首先应该从消息源确定，Producer收到发送给Broker的消息都有唯一的Id，保障幂等性。
2. 幂等性保证了即使生产者在发送消息的过程中发生了重试，同一条消息也只会被成功写入一次。无论生产者发送消息多少次，只要消息内容相同，只有一次会被写入。

8. kafka如何实现数据的高效读取

1. 对不同topic进行分区，分区之后可以被多个Consumer同时并行获取处理
2. 每个分区都维护了高效的索引
3. 副本机制：每个分区都可以有自己的多个副本，副本允许被读取
4. Consumer读取消息后offset是异步给Zookeeper保存，可以继续执行其他消息处理步骤
5. 零拷贝：kafka的数据传输使用零拷贝技术，避免资源浪费

零拷贝和传统拷贝的区别：
传统是内核态和用户之间的拷贝，而零拷贝直接在设备和内存空间拷贝
在零拷贝技术中，数据传输的过程中数据不再需要从内核缓冲区拷贝到用户缓冲区，而是直接在内核和设备之间传输，避免了中间的拷贝操作。这种方式可以显著减少CPU的开销，提高数据传输的速度，并降低系统负担。

9. Kafka的那些设计让它有如此高的性能

1. 使用分布式消息队列
2. 使用零拷贝模式
3. 对log文件分区，创建索引

10. Kafka怎么确定消息读取的有序性

1. 每个分区的消息读取是有序的，按照发送的顺序进行存储和读取
2. Kafka 还提供了顺序消费者（Sequential Consumer）功能，
    通过确保每个分区只有一个消费者来实现消息的全局有序性。
3. 可以给分区键加一定的逻辑，控制消息读取顺序
4. Kafka只能是分区内有序，因为设计的初衷就是为了高并发
    如果想给不同的分区设置读取顺序，可以考虑的点是设置单一分区。
    或者给消息添加序号或者时间戳，消费的时候按照这个逻辑控制顺序。
    或者所有有顺序要求的放到同一个分区里面

11. 常见的操作命令

Kafka 提供了丰富的命令行工具来执行各种操作，从创建主题到监控集群状态。以下是一些常见的 Kafka 操作及其对应的命令行示例：

1. **创建主题：**
   使用 `kafka-topics.sh` 命令创建主题。
   ```sh
   kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092
   ```
    --partitions 3  创建3个分区
    --replication-factor 2   每个分区有2个副本


2. **查看主题列表：**
   使用 `kafka-topics.sh` 命令查看主题列表。
   ```sh
   kafka-topics.sh --list --bootstrap-server localhost:9092
   ```

3. **发送消息：**
   使用 `kafka-console-producer.sh` 命令发送消息。
   ```sh
   kafka-console-producer.sh --topic my-topic --broker-list localhost:9092
   ```
    输入命令后进入了输入框，输入完点击Enter完成
4. **消费消息：**
   使用 `kafka-console-consumer.sh` 命令消费消息。
   ```sh
   kafka-console-consumer.sh --topic my-topic --from-beginning --bootstrap-server localhost:9092
   ```

5. **查看消费者组消费情况：**
   使用 `kafka-consumer-groups.sh` 命令查看消费者组的消费情况。
   ```sh
   kafka-consumer-groups.sh --group my-group --describe --bootstrap-server localhost:9092
   ```

6. **查看集群状态：**
   使用 `kafka-topics.sh` 命令查看集群状态。
   ```sh
   kafka-topics.sh --describe --bootstrap-server localhost:9092
   ```

7. **添加分区：**
   使用 `kafka-topics.sh` 命令为主题添加分区。
   ```sh
   kafka-topics.sh --alter --topic my-topic --partitions 5 --bootstrap-server localhost:9092
   ```

8. **查看主题详细信息：**
   使用 `kafka-topics.sh` 命令查看特定主题的详细信息。
   ```sh
   kafka-topics.sh --describe --topic my-topic --bootstrap-server localhost:9092
   ```

9. **删除主题：**
   使用 `kafka-topics.sh` 命令删除主题。
   ```sh
   kafka-topics.sh --delete --topic my-topic --bootstrap-server localhost:9092
   ```

10. **创建 ACL（访问控制列表）：**
    使用 `kafka-acls.sh` 命令创建 ACL 权限规则。
    ```sh
    kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:alice --operation Read --topic my-topic
    ```

这只是一些常见的 Kafka 操作示例，Kafka 提供了更多的命令行工具来执行其他操作，如管理 ACL、监控集群、更改配置等。你可以在 Kafka 官方文档中找到更多详细的命令和用法说明。