kafka学习

sunnxin

已于 2024-03-20 15:01:20 修改

阅读量306

点赞数 8

文章标签： kafka 学习分布式

于 2024-03-04 14:03:31 首次发布

本文链接：https://blog.csdn.net/weixin_43867181/article/details/136397540

版权

kafka基本概念及应用场景

基本概念

Kafka 是一个分布式流式处理平台。

流平台具有三个关键功能：

消息队列：发布和订阅消息流，类似于消息队列（ Kafka 也被归类为消息队列的原因）。
容错的持久方式存储记录消息流：Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险。
流式处理平台： 在消息发布的时候进行处理，Kafka 提供了完整的流式处理类库。

应用场景

消息队列：建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。
数据处理：构建实时的流数据处理程序来转换或处理数据流。

kafka的消息模型

Kafka 采用发布-订阅模型。

发布-订阅模型

发布订阅模型（Pub-Sub）使用主题（Topic） 作为消息通信载体，类似于广播模式；发布者发布一条消息，该消息通过主题传递给所有的订阅者，在一条消息广播之后才订阅的用户则是收不到该条消息的。在发布 - 订阅模型中，如果只有一个订阅者，那它和队列模型就基本是一样的了。所以说，发布 - 订阅模型在功能层面上是可以兼容队列模型的。

核心概念

Producer（生产者） : 产生消息的一方。
Consumer（消费者） : 消费消息的一方。
Broker（代理） : 可以看作是一个独立的 Kafka 实例。多个 Kafka Broker 组成一个 Kafka Cluster。每个 Broker 中又包含了 Topic和 Partition 。
Topic（主题） : Producer 将消息发送到特定的主题，Consumer 通过订阅特定的 Topic(主题) 来消费消息。
Partition（分区）：Partition 属于 Topic 的一部分。一个 Topic 可以有多个 Partition ，并且同一 Topic 下的 Partition 可以分布在不同的 Broker 上，这也就表明一个 Topic 可以横跨多个 Broker 。
Partition offset：offset为消息偏移量，以Partition为单位，即使在同一个Topic中，不同Partition的offset也是重新开始计算(也就是会重复)
Group（消费者组）：一个Group里面包含多个消费者
Message（消息）：队列中消息的承载体，也就是通信的基本单位，Producer可以向Topic中发送Message

SpringBoot集成kafka

1.引入maven依赖

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
</dependency>

2.加入配置

spring:
  kafka:
    producer:
      bootstrap-servers: 127.0.0.1:9092

3.简单测试类


import io.swagger.v3.oas.annotations.Operation;
import io.swagger.v3.oas.annotations.tags.Tag;
import lombok.AllArgsConstructor;
import lombok.extern.log4j.Log4j2;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.*;


/**
 * 接口
 *
 * @author sx
 * @since 2024-03-20 13:39
 */
@RequestMapping(value = "/v1/kafka")
@RestController
@AllArgsConstructor
@Tag(name = "Kafka接口", description = "Kafka接口")
@Log4j2
public class KafkaApi {

    @Autowired
    private KafkaTemplate<Object, Object> template;

    @PostMapping("/{input}")
    @Operation(summary = "发送信息", description = "发送信息")
    public void sendInfo(@PathVariable("input") String input) {
        this.template.send("topic_input", input);
    }
    @KafkaListener(id = "web_group", topics = "topic_input")
    public void listen(String input) {
        log.info("input value:".concat(input));
    }
}