SpringBoot整合Kafka

最新推荐文章于 2024-09-18 23:06:36 发布

luomo0203

最新推荐文章于 2024-09-18 23:06:36 发布

阅读量260

点赞数

分类专栏： SpringBoot

本文链接：https://blog.csdn.net/luomo0203/article/details/113343671

版权

SpringBoot 专栏收录该内容

21 篇文章 2 订阅

订阅专栏

一、介绍

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

二、环境安装

首先安装zookeeper（这里我选择使用docker快速安装）不懂docker的小伙伴可以移步我的这篇docker笔记

docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

启动kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.104:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

三、SpringBoot中使用kafka

添加依赖

       <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

       <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
       </dependency>

yml配置

spring:
  kafka:
    bootstrap-servers: 192.168.1.104:9092  #指定kafka server地址
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: default_consumer_group #群组ID
      enable-auto-commit: true
      auto-commit-interval: 1000
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

server:
  port: 8500

发送消息

@RestController
@Slf4j
public class ProducerController {
    @Resource
    private KafkaTemplate<String,Object> kafkaTemplate;

    @RequestMapping("message/send")
    public String send(String msg){
        //使用kafka模板发送信息
        kafkaTemplate.send("demo", msg);
        return "success";
    }

接收消息

@Component
public class ConsumerDemo {


    @KafkaListener(topics = "demo")
    public void listen(ConsumerRecord<?,?> record){
        System.out.printf("topic is %s, offset is %d, value is %s \n", record.topic(), record.offset(), record.value());
    }
}