kafka入门及springboot集成kafka

最新推荐文章于 2024-07-13 00:30:00 发布
最新推荐文章于 2024-07-13 00:30:00 发布
阅读量856 收藏 2
点赞数 1
文章标签： kafka spring boot java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45806184/article/details/126010394
版权

1、kafka概述及几种消息中间件对比

kafka官网：http://kafka.apache.org/
kafka名词解释：
在这里插入图片描述

  • producer：发布消息的对象称之为主题生产者（Kafka topic producer）
  • topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic）
  • consumer：订阅消息并处理发布的消息的对象称之为主题消费者（consumers）
  • broker：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理（Broker）。 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。
    Linux安装kafka步骤
Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka之前必须先安装zookeeper
- Docker安装zookeeper
下载镜像：
docker pull zookeeper:3.4.14
创建容器
docker run -d --name zookeeper -p 2181:2181 zookeeper:3.4.14
- Docker安装kafka
下载镜像：
docker pull wurstmeister/kafka:2.12-2.3.1
创建容器：
docker run -d --name kafka \

在这里插入图片描述
在这里插入图片描述

2、kafka入门

在这里插入图片描述
（1）依赖

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
</dependency>

（2）生产者

public class ProducerTest {

    public static void main(String[] args) {
        //1.kafka的配置信息
        Properties properties = new Properties();
        //kafka的连接地址
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.200.130:9092");
        //发送失败，失败的重试次数
        properties.put(ProducerConfig.RETRIES_CONFIG,5);
        //消息key的序列化器
    properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
        //消息value的序列化器
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");

        //2.生产者对象
        KafkaProducer<String,String> producer = new KafkaProducer<String, String>(properties);

        //封装发送的消息
        ProducerRecord<String,String> record = new ProducerRecord<String, String>("test-topic","100001","hello kafka");

        //3.发送消息
        producer.send(record);

        //4.关闭消息通道，必须关闭，否则消息发送不成功
        producer.close();
    }

}

（3）消费者

public class ConsumerTest {

    public static void main(String[] args) {
        //1.添加kafka的配置信息
        Properties properties = new Properties();
        //kafka的连接地址
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        //消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "group2");
        //消息的反序列化器
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        //2.消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(properties);

        //3.订阅主题
        consumer.subscribe(Collections.singletonList("test-topic"));

        //当前线程一直处于监听状态
        while (true) {
            //4.获取消息
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key());
                System.out.println(consumerRecord.value());
            }
        }

    }
}

3、kafka高可用设计

1、kafka集群

在这里插入图片描述

  • Kafka 的服务器端由被称为 Broker 的服务进程构成，即一个 Kafka 集群由多个 Broker 组成
  • 这样如果集群中某一台机器宕机，其他机器上的 Broker 也依然能够对外提供服务。这其实就是 Kafka 提供高可用的手段之一

2、备份机制(Replication）

在这里插入图片描述
Kafka 中消息的备份又叫做 副本（Replica）
Kafka 定义了两类副本：

  • 领导者副本（Leader Replica）
  • 追随者副本（Follower Replica）
    同步方式：
    在这里插入图片描述如图所示，分为同步复制和异步复制两种。
    ISR（in-sync replica）需要同步复制保存的follower
    如果leader失效后，需要选出新的leader，选举的原则如下：
    第一：选举时优先从ISR中选定，因为这个列表中follower的数据是与leader同步的。
    第二：如果ISR列表中的follower都不行了，就只能从其他follower中选取。
    极端情况，就是所有副本都失效了，这时有两种方案。
    第一：等待ISR中的一个活过来，选为Leader，数据可靠，但活过来的时间不确定。
    第二：选择第一个活过来的Replication，不一定是ISR中的，选为leader，以最快速度恢复可用性，但数据不一定完整。

4、kafka生产者

4.1、发送方式

同步发送
使用send()方法发送，它会返回一个Future对象，调用get()方法进行等待，就可以知道消息是否发送成功。

RecordMetadata recordMetadata = producer.send(kvProducerRecord).get();
System.out.println(recordMetadata.offset());

异步发送
调用send()方法，并指定一个回调函数，服务器在返回响应时调用函数。

producer.send(kvProducerRecord, new Callback() {
    @Override
    public void onCompletion(RecordMetadata recordMetadata, Exception e) {
        if(e != null){
            // 处理异常
        }
        System.out.println(recordMetadata.offset());
    }
});

4.2 生产消息参数

在这里插入图片描述
（1）ack回执的配置
代码的配置方式：

//ack配置  消息确认机制
prop.put(ProducerConfig.ACKS_CONFIG,"all");

ack配置参数说明：
在这里插入图片描述
（2）消息发送失败的retries重试次数
在这里插入图片描述
生产者从服务器收到的错误有可能是临时性错误，在这种情况下，retries参数的值决定了生产者可以重发消息的次数，如果达到这个次数，生产者会放弃重试返回错误，默认情况下，生产者会在每次重试之间等待100ms。
代码中配置方式：

//重试次数
prop.put(ProducerConfig.RETRIES_CONFIG,10);

（3）配置消息压缩

默认情况下， 消息发送时不会被压缩。
代码中配置方式：

//数据压缩
prop.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"lz4");

在这里插入图片描述
使用数据压缩可以降低网络传输开销和存储开销，而这往往是向 Kafka 发送消息的瓶颈所在。

5、消费者详解

5.1消费者组

在这里插入图片描述

  • 消费者组（Consumer Group） ：指的就是由一个或多个消费者组成的群体
    一个发布在Topic上消息被分发给此消费者组中的一个消费者
  • 所有的消费者都在一个组中，那么这就变成了queue模型
  • 所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型

5.2、消息的有序性

应用场景：

  • 即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致
  • 充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序
    在这里插入图片描述
    topic分区中消息只能由消费者组中的唯一一个消费者处理，所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理，不能保证跨分区的消息先后处理顺序。 所以，如果你想要顺序的处理Topic的所有消息，那就只提供一个分区。

5.3提交和偏移量

kafka不会像其他JMS队列那样需要得到消费者的确认，消费者可以使用kafka来追踪消息在分区的位置（偏移量）消费者会往一个叫做_consumer_offset的特殊主题发送消息，消息里包含了每个分区的偏移量。如果消费者发生崩溃或有新的消费者加入群组，就会触发再均衡。
在这里插入图片描述
正常的情况
在这里插入图片描述
如果消费者2挂掉以后，会发生再均衡，消费者2负责的分区会被其他消费者进行消费，再均衡后不可避免会出现一些问题：
问题一：
在这里插入图片描述
如果提交偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理。
问题二：
在这里插入图片描述
如果提交的偏移量大于客户端的最后一个消息的偏移量，那么处于两个偏移量之间的消息将会丢失。
那么，要解决偏移量的问题我们需要知道目前kafka提交偏移量的方式：
提交偏移量的方式有两种，分别是自动提交偏移量和手动提交。

  • 自动提交偏移量
    当enable.auto.commit被设置为true，提交方式就是让消费者自动提交偏移量，每隔5秒消费者会自动把从poll()方法接收的最大偏移量提交上去。
  • 手动提交 ，当enable.auto.commit被设置为false可以有以下三种提交方式
    • 提交当前偏移量（同步提交）
    • 异步提交
    • 同步和异步组合提交

1.提交当前偏移量（同步提交）
把enable.auto.commit设置为false,让应用程序决定何时提交偏移量。使用commitSync()提交偏移量，commitSync()将会提交poll返回的最新的偏移量，所以在处理完所有记录后要确保调用了commitSync()方法。否则还是会有消息丢失的风险。只要没有发生不可恢复的错误，commitSync()方法会一直尝试直至提交成功，如果提交失败也可以记录到错误日志里。

while (true){
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
    for (ConsumerRecord<String, String> record : records) {
        System.out.println(record.value());
        System.out.println(record.key());
        try {
            consumer.commitSync();//同步提交当前最新的偏移量
        }catch (CommitFailedException e){
            System.out.println("记录提交失败的异常："+e);
        }

    }
}

2.异步提交
手动提交有一个缺点，那就是当发起提交调用时应用会阻塞。当然我们可以减少手动提交的频率，但这个会增加消息重复的概率（和自动提交一样）。另外一个解决办法是，使用异步提交的API。

while (true){
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
    for (ConsumerRecord<String, String> record : records) {
        System.out.println(record.value());
        System.out.println(record.key());
    }
    consumer.commitAsync(new OffsetCommitCallback() {
        @Override
        public void onComplete(Map<TopicPartition, OffsetAndMetadata> map, Exception e) {
            if(e!=null){
                System.out.println("记录错误的提交偏移量："+ map+",异常信息"+e);
            }
        }
    });
}

3.同步和异步组合提交
异步提交也有个缺点，那就是如果服务器返回提交失败，异步提交不会进行重试。相比较起来，同步提交会进行重试直到成功或者最后抛出异常给应用。异步提交没有实现重试是因为，如果同时存在多个异步提交，进行重试可能会导致位移覆盖。
举个例子，假如我们发起了一个异步提交commitA，此时的提交位移为2000，随后又发起了一个异步提交commitB且位移为3000；commitA提交失败但commitB提交成功，此时commitA进行重试并成功的话，会将实际上将已经提交的位移从3000回滚到2000，导致消息重复消费。

try {
    while (true){
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
        for (ConsumerRecord<String, String> record : records) {
            System.out.println(record.value());
            System.out.println(record.key());
        }
        consumer.commitAsync();
    }
}catch (Exception e){
    e.printStackTrace();
    System.out.println("记录错误信息："+e);
      try {
        consumer.commitSync();
    }finally {
        consumer.close();
    }
}

6、springboot集成kafka

6.1依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!-- kafkfa -->
    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.apache.kafka</groupId>
                <artifactId>kafka-clients</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
    </dependency>
</dependencies>

6.2 配置文件

server:
  port: 8888
spring:
  application:
    name: kafka-demo
  kafka:
    bootstrap-servers: 192.168.200.130:9092
    producer:
      retries: 10
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: ${spring.application.name}-test
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

6.3 生产者

@RestController
public class HelloController {

    @Autowired
    private KafkaTemplate<String,String> kafkaTemplate;

    @GetMapping("/test")
    public String test(){
        kafkaTemplate.send("test-topic","测试一条消息");
        return "ok";
    }
}

6.4 消费者

@Component
public class HelloListener {

    @KafkaListener(topics = "test-topic")
    public void onMessage(String message){
        if(!StringUtils.isEmpty(message)){
            System.out.println(message);
        }

    }
}

6.5 消息类型为对象

目前springboot整合后的kafka，因为序列化器是StringSerializer，这个时候如果需要传递对象可以有两种方式。
方式一：可以自定义序列化器，对象类型众多，这种方式通用性不强。
方式二：可以把要传递的对象进行转json字符串，接收消息后再转为对象即可，这种方式通用性强。
发送消息：

@GetMapping("/test")
public String test(){
    User user = new User();
    user.setUsername("智慧女神");
    user.setAge(17);
    kafkaTemplate.send("user-topic", JSON.toJSONString(user));
    return "ok";
}

接收消息：

@Component
public class HelloListener {

    @KafkaListener(topics = "user-topic")
    public void onMessage(String message){
        if(!StringUtils.isEmpty(message)){
            User user = JSON.parseObject(message, User.class);
            System.out.println(user);
        }
    }
}
TheChainsmoker
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【项目实战】SpringBoot整合Kafka消息队列（基于KafkaTemplate和@KafkaListener实现）
本本本添哥
01-04 5849
SpringBoot整合Kafka消息队列（基于KafkaTemplate和@KafkaListener实现）
springboot集成kafka简单入门案例
06-13
这只是一个简单的入门案例，实际上Kafka和Spring Boot的整合功能远不止这些。例如，您可以配置多个主题、设置消费者分组、实现幂等性消费者、处理异常、使用Kafka Streams进行复杂的数据处理等。随着对Kafka和Spring...
springboot集成kafka
06-28
springboot kafka
springboot 集成kafka 详细教程，看这一篇就够了
最新发布
qq_41041630的博客
07-13 872
springboot ,kafka
springboot集成Kafka
潮生的博客
04-25 147
kafka集成到springboot项目中 依赖 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web&l...
springboot集成kafka推送的简单例子
06-05
通过这个简单的例子，你已经掌握了如何在SpringBoot应用中集成Kafka进行消息推送的基本流程。随着对Spring和Kafka的进一步了解，你可以实现更复杂的功能，比如消息分组、幂等性消费、事务支持等。这只是一个起点，但...
kafka_springboot_kafka_
10-03
标题 "kafka_springboot_kafka_" 暗示了这个项目是关于使用Spring Boot框架集成Apache Kafka的消息传递系统的。让我们深入探讨这个主题，了解如何在Spring Boot应用中有效地使用Kafka。 Apache Kafka是一个分布式流...
java kafka 入门
12-03
文章的描述是 "springboot 下集成 kafka的小例子，把代码写在 world 里"，这意味着文章将展示如何使用 Spring Boot 框架将 Kafka 集成到项目中，并提供一个简单的示例代码。 标签解释 文章的标签是 "kafka"，表明...
Kafka急速入门与实战.doc
12-23
- 优秀kafka入门博客：https://blog.csdn.net/hmsiwtv/article/details/46960053 - 博文推荐：《Zookeeper集群搭建》：https://www.cnblogs.com/ysocean/p/9860529.html 此外，实践是检验理论的最好方式，可以通过...
springboot 集成kafka
guangyingposuo的博客
03-30 91
项目中使用kafka 接受消息并处理 springboot 版本1.5.19 使用时请注意kafka版本 1.maven <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</...
springBoot集成kafka
weixin_42338848的博客
05-26 829
本文介绍SpringBoot集成Kfka的demo
Spring Boot集成kafka
zlzfire的博客
08-09 217
Spring Boot集成kafka示例目录结构及流程说明生产者依赖配置示例消费者依赖配置示例测试 示例目录结构及流程说明 gw为控制层入口，data为生产者，info为消费者，common为公共服务 首先在gw层通过请求调用data中的方法触发生产者生产消息，info模块为消费者，如果能监听到消息则证明集成OK 生产者 依赖 <dependencies> <dependency> <groupId>com.zlz</gro
SpringBoot 集成 kafka
蒯厅博客
04-30 155
前言 : 启动zk 启动kafka kafka中创建一个主题topic 引入依赖： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> Java 代码 1.创建一个生产者类Produce，这里未来方便测试使用前端传入参数的信息生产数
Kafka入门与实战：从基础到SpringBoot整合
"该文档主要介绍了Kafka的使用，包括其作为消息队列的功能、优势以及与SpringBoot的整合。Kafka是一个高性能、可持久...通过与SpringBoot的集成，开发者可以更方便地在应用程序中利用Kafka的优势，实现高效的消息处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TheChainsmoker

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值