spingboot整合kafka

最新推荐文章于 2024-09-27 21:57:39 发布
最新推荐文章于 2024-09-27 21:57:39 发布
阅读量137 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44619613/article/details/115048590
版权

一、 docker安装kafka

1、下载zookeeper镜像

[root@localhost ~]# docker pull wurstmeister/zookeeper

在这里插入图片描述

2、下载kafka的镜像

[root@localhost ~]# docker pull wurstmeister/kafka

在这里插入图片描述

3、启动镜像

  • 启动zookeeper
 [root@localhost ~]# docker run -d --name zookeeper -p 2181:2181  wurstmeister/zookeeper
  • 启动kafka
[root@localhost ~]# docker run -d --name kafka -p 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.0.104 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

在这里插入图片描述

4、测试

kakfa 官网快速入门： http://kafka.apache.org/documentation/#quickstart

  • 关闭防火墙
[root@localhost ~]# firewall-cmd --state
running
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# firewall-cmd --state
not running

分别打开三个窗口

# 获取kafka的容器id
[root@localhost ~]# docker ps
[root@localhost ~]# docker exec -it 45d805660187  bash
  • 创建测试主题
[root@localhost ~]#  kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
  • 生产消息
[root@localhost ~]#  kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

在这里插入图片描述

  • 消费消息
kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
  • 查看所有的主题topic
[root@localhost ~]# kafka-topics.sh --list --zookeeper zookeeper:2181  //查看我们的topic列表
```![在这里插入图片描述](https://img-blog.csdnimg.cn/20210321121518346.png)
- 查看具体的topic的信息

```sh
[root@localhost ~]# kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
Topic:quickstart-events  PartitionCount:1    ReplicationFactor:1 Configs:
    Topic: quickstart-events Partition: 0    Leader: 0   Replicas: 0 Isr: 0

二、 springboot整合kafka

整体的项目结构：

在这里插入图片描述

创建springboot项目

2.1、添加pom.xml依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.4.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.bigdata</groupId>
    <artifactId>springboot-kafka</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>springboot-kafka</name>
    <description>Demo project for Spring Boot about kafka</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.44</version>
        </dependency>


        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

2.2、application.yml

spring:
  kafka:
    bootstrap-servers: 192.168.0.104:9092
    producer:
      retries: 0
      batch-size: 16384
      buffer-memory: 33554432
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      acks: 1
    consumer:
      auto-commit-interval: 1S
      auto-offset-reset: earliest
      # 是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量
      enable-auto-commit: false
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    listener:
      concurrency: 5
      ack-mode: manual_immediate
      missing-topics-fatal: false

###2.3、 webconfig的相关配置

package com.bigdata.springbootkafka.config;

import org.springframework.boot.web.client.RestTemplateBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.client.RestTemplate;

@Configuration
public class WebConfig {
    @Bean
    public RestTemplate restTemplate(RestTemplateBuilder builder){
        return builder.build();
    }
}

2.3、 常量

package com.bigdata.springbootkafka.constant;

public class KafkaMessageConstant {
    public static final String DEFAULF_TOPIC = "DEFAULF_TOPIC_TEST";
    public static final String TOPIC_GROUP1 = "TOPIC.GROUP1";
}

2.4、 controller

package com.bigdata.springbootkafka.controller;

import com.bigdata.springbootkafka.message.Producer;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

@RestController
@RequestMapping("/kafka")
@Slf4j
public class KafkaMessageController {

    @Autowired
    private Producer producer;

    @PostMapping("/test")
    public void sendMessage(@RequestParam("data") String data) {

        log.info("send message: " + data);
        producer.sendMessageDefault(data);
        log.info("send message is ok");

    }
}

2.5、 producer

package com.bigdata.springbootkafka.message;

import com.alibaba.fastjson.JSON;
import com.bigdata.springbootkafka.constant.KafkaMessageConstant;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Component;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;

@Component
@Slf4j
public class Producer {
    @Autowired
    private KafkaTemplate<String, Object> kafkaTemplate;


    public void sendMessage(String topic, Object data) {

        String jsonStringData = JSON.toJSONString(data);
        log.info("topic:{}" + topic + "data: { }" + jsonStringData);
        ListenableFuture<SendResult<String, Object>> future = kafkaTemplate.send(topic, jsonStringData);
        future.addCallback(new ListenableFutureCallback<SendResult<String, Object>>() {
            @Override
            public void onFailure(Throwable throwable) {
                // 发送失败
                log.error("生产者  发送消息失败: {}" + throwable.getMessage());
            }

            @Override
            public void onSuccess(SendResult<String, Object> stringObjectSendResult) {
                log.info("生产者  发送消息成功: {}" + stringObjectSendResult.getProducerRecord().toString());
            }
        });
    }

    public void sendMessageDefault(Object data) {
        sendMessage(KafkaMessageConstant.DEFAULF_TOPIC, data);
    }
}

2.6、 cousumer

package com.bigdata.springbootkafka.message;

import com.bigdata.springbootkafka.constant.KafkaMessageConstant;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.kafka.support.KafkaHeaders;
import org.springframework.messaging.handler.annotation.Header;
import org.springframework.stereotype.Component;
import lombok.extern.slf4j.Slf4j;

import java.util.Optional;

@Component
@Slf4j
public class Consumer {

    @KafkaListener(topics = KafkaMessageConstant.DEFAULF_TOPIC, groupId = KafkaMessageConstant.TOPIC_GROUP1)
    public void receiveKafkaMessage(ConsumerRecord<?, ?> consumerRecord, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
        Optional<?> kafkaMessage = Optional.ofNullable(consumerRecord.value());
        log.info(">>>>>>>>>> record =" + kafkaMessage);
        if (kafkaMessage.isPresent()) {
            Object message = kafkaMessage.get();
            log.info("消费了Consumer test Topic:" + topic + ",Message:" + message);
            ack.acknowledge();
        }

    }
}

2.7、 单元测试

package com.bigdata.springbootkafka;

import lombok.extern.slf4j.Slf4j;
import org.junit.jupiter.api.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.http.HttpHeaders;
import org.springframework.http.MediaType;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.util.LinkedMultiValueMap;
import org.springframework.util.MultiValueMap;
import org.springframework.web.client.RestTemplate;

@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest(classes = SpringbootKafkaApplication.class)
@Slf4j
class SpringbootKafkaApplicationTests {
    @Autowired
    private RestTemplate restTemplate;

    @Test
    void contextLoad1() {
        log.info("==============发送消息  begin ============== ");
        String url = "http://localhost:8080/kafka/test";
        String data = "restTemplate jxq kafka test";
        HttpHeaders headers = new HttpHeaders();
        // 以表单的方式提交
        headers.setContentType(MediaType.APPLICATION_FORM_URLENCODED);
        //将请求头部和参数合成一个请求
        MultiValueMap<String, Object> paramMap = new LinkedMultiValueMap<String, Object>();
        paramMap.add("data", data);
        //执行HTTP请求，将返回的结构使用ResultVO类格式化
        restTemplate.postForEntity(url, paramMap, String.class);
        // restTemplate.postForLocation("http://localhost:8080/kafka/test"+data,null);
        log.info("==============发送消息 end ============== ");
    }
}

参考:
https://blog.csdn.net/qq_42715450/article/details/114293390
http://kafka.apache.org/documentation/#quickstart

I'm always here
关注
专栏目录
springBoot集成Kafka
weixin_66545010的博客
07-06 6266
spring boot集成Kafka
springboot整合kafka的发布/消费demo项目源码
08-18
在本文中，我们将深入探讨如何将Spring Boot与Apache Kafka整合，以便实现发布/...这个"springboot整合kafka的发布/消费demo项目源码"提供了一个基础的示例，帮助开发者快速上手并理解Kafka在Spring Boot中的工作方式。
spring boot集成kafka
weixin_30355437的博客
05-02 118
（一）首先要解决kafka对外网的通道问题参考：kafka的advertised.host.name参数 外网访问配置例如对于 59.64.11.22 IP对应的broker，需要在 server.properties 配置文件里增加如下三个配置：新版配置advertised.listeners=PLAINTEXT://59.64.11.22:9092估计读者...
Spring Boot 应用Kafka讲解和案例示范
最新发布
J老熊
09-27 1558
Kafka 是一款高吞吐量、低延迟的分布式消息系统。本文将详细介绍如何在 Spring Boot 项目中使用 Kafka 进行消息接收与消费，并结合幂等和重试机制，确保消息消费的可靠性和系统的扩展性。我们将以电商交易系统为案例进行深入解析。
spring boot 集成kafka
诸葛子房的博客
05-06 172
spring boot 集成kafka 1、先解决依赖 springboot相关的依赖我们就不提了，和kafka相关的只依赖一个spring-kafka集成包 <dependency> <groupId>org.springframework.kafka</groupId> ...
SpringBoot集成Kafka
热门推荐
scmagic的博客
04-05 1万+
SpringBoot集成Kafka工程搭建 SpringBoot集成Kafka配置 SpringBoot集成Kafka生产消息 SpringBoot集成Kafka消费消息
Springboot集成kafka
qq_32681671的博客
01-06 753
基础环境配置 1. 添加依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.8.0</version> </dependency> 2. 配置kafka连接信息 spring: #kafka kaf.
springboot整合kafka
06-23
SpringBoot整合Kafka是现代Java应用中常见的数据流处理方式，Kafka作为一个高吞吐、低延迟的消息中间件，常用于大数据实时处理、日志收集等场景。SpringBoot的轻量级特性使得与Kafka的集成变得简单易行。本文将深入...
SpringBoot整合Kafka
08-23
SpringBoot 整合 Kafka SpringBoot 整合 Kafka 是一种流行的消息队列解决方案，通过将 SpringBoot 应用程序与 Kafka 集成，可以实现高效、可靠的消息传输和处理。 SpringBoot 整合 Kafka 的好处： * 高效的消息...
SpringBoot整合kafka，代码简洁，自动分配分区和指定分区消费(亲测可用)
04-24
总结，SpringBoot整合Kafka可以简化消息中间件的使用，通过Spring提供的API和注解，我们可以轻松地实现消息的生产和消费，同时支持自定义分区策略。这使得在实际项目中处理实时数据流变得更加便捷。
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
本项目将详细讲解如何利用SpringBoot整合Kafka和Elasticsearch，实现日志的批量拉取和更新。 首先，我们需要在SpringBoot项目中引入相应的依赖。对于Kafka，我们需要添加`spring-kafka`依赖，它提供了与Kafka交互的...
springboot-kafka
12-29
springboot-kafka demo
SpringBoot集成kafka
qq_34553374的博客
03-26 267
创建SpringBoot项目 pom文件 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</a...
SpringBoot 集成 kafka
q2570558854的博客
09-01 843
SpringBoot 集成 kafka
Springboot 集成kafka
axibazZ的博客
09-17 5168
解释：这里定义了消费者id为ifun-001，消费者组id为ifun-01，同时监听两个topic，ifun1和ifun2，其中监听ifun1的0号分区，ifun2的0号和1号分区，其中1号分区开始的offset为8，也就是说如果next-offset大于8就会消费，小于8不会消费。消息过滤器可以在消息抵达consumer之前被拦截，在实际应用中，我们可以根据自己的业务逻辑，筛选出需要的信息再交由KafkaListener处理，不需要的消息则过滤掉。二、修改application.yml配置。
Springboot整合Kafka实现消息通信详解
"本文档详细介绍了如何使用Springboot整合Kafka进行消息通信，涵盖了Kafka的基本原理、应用搭建、主题与死信主题、多线程消费者、分区策略、日志刷新配置、批量消息处理、Springboot中的Kafka事务、可视化工具以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值