【Kafka】SpringBoot整合Kafka详细介绍及代码示例

Kafka介绍

Apache Kafka是一个分布式流处理平台。它最初由LinkedIn开发，后来成为Apache软件基金会的一部分，并在开源社区中得到了广泛应用。Kafka的核心概念包括Producer、Consumer、Broker、Topic、Partition和Offset。

• Producer：生产者，负责将数据发送到Kafka集群。
• Consumer：消费者，从Kafka集群中读取数据。
• Broker：Kafka服务器实例，Kafka集群通常由多个Broker组成。
• Topic：主题，数据按主题进行分类。
• Partition：分区，每个主题可以有多个分区，用于实现并行处理和提高吞吐量。
• Offset：偏移量，每个消息在其分区中的唯一标识。

使用场景

Kafka适用于以下场景：

1. 日志收集：集中收集系统日志和应用日志，通过Kafka传输到大数据处理系统。
2. 消息队列：作为高吞吐量、低延迟的消息队列系统。
3. 数据流处理：实时处理数据流，用于实时分析、监控和处理。
4. 事件源架构：将所有的变更事件存储在Kafka中，实现事件溯源和回放。
5. 流数据管道：构建数据管道，连接数据源和数据存储系统。

Spring Boot整合Kafka 

项目结构

springboot-kafka
│
├── src
│   ├── main
│   │   ├── java
│   │   │   └── com.example.kafka
│   │   │       ├── KafkaApplication.java
│   │   │       ├── config
│   │   │       │   └── KafkaConfig.java
│   │   │       ├── producer
│   │   │       │   └── KafkaProducer.java
│   │   │       ├── consumer
│   │   │       │   └── KafkaConsumer.java
│   │   │       └── controller
│   │   │           └── KafkaCo