最新kafka学习(2)，2024年最新你头秃都没想到还能这样吧

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

• 消息队列：发布和订阅消息流，类似于消息队列（ Kafka 也被归类为消息队列的原因）。
• 容错的持久方式存储记录消息流：Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险。
• 流式处理平台： 在消息发布的时候进行处理，Kafka 提供了完整的流式处理类库。

应用场景

• 消息队列：建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。
• 数据处理：构建实时的流数据处理程序来转换或处理数据流。

kafka的消息模型

Kafka 采用发布-订阅模型。

发布-订阅模型

发布订阅模型（Pub-Sub） 使用主题（Topic） 作为消息通信载体，类似于广播模式；发布者发布一条消息，该消息通过主题传递给所有的订阅者，在一条消息广播之后才订阅的用户则是收不到该条消息的。在发布 - 订阅模型中，如果只有一个订阅者，那它和队列模型就基本是一样的了。所以说，发布 - 订阅模型在功能层面上是可以兼容队列模型的。

核心概念

• Producer（生产者） : 产生消息的一方。
• Consumer（消费者） : 消费消息的一方。
• Broker（代理） : 可以看作是一个独立的 Kafka 实例。多个 Kafka Broker 组成一个 Kafka Cluster。每个 Broker 中又包含了 Topic和 Partition 。
• Topic（主题） : Producer 将消息发送到特定的主题，Consumer 通过订阅特定的 Topic(主题) 来消费消息。
• **Partition（分区）：**Partition 属于 Topic 的一部分。一个 Topic 可以有多个 Partition ，并且同一 Topic 下的 Partition 可以分布在不同的 Broker 上，这也就表明一个 Topic 可以横跨多个 Broker 。
• **Partition offset：**offset为消息偏移量，以Partition为单位，即使在同一个Topic中，不同Partition的offset也是重新开始计算(也就是会重复)
• **Group（消费者组）：**一个Group里面包含多个消费者
• **Message（消息）：**队列中消息的承载体，也就是通信的基本单位，Producer可以向Topic中发送Message

SpringBoot集成kafka

1.引入maven依赖

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
</dependency>

2.加入配置

spring:
  kafka:
    producer:
      bootstrap-servers: 127.0.0.1:9092

3.简单测试类

import io.swagger.v3.oas.annotations.Operation;
import io.swagger.v3.oas.annotations.tags.Tag;
import lombok.AllArgsConstructor;
import lombok.extern.log4j.Log4j2;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.*;


/**
 * 接口
 *
 * @author sx
 * @since 2024-03-20 13:39
 */
@RequestMapping(value = "/v1/kafka")


![img](https://img-blog.csdnimg.cn/img_convert/4ed6c106f25de1f8537d454080ba430c.png)
![img](https://img-blog.csdnimg.cn/img_convert/ec95e9693eaf6ee75d6a8331d0ba0896.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

28)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**