SpringBoot(十二):SpringBoot整合Kafka

原创 2018年04月15日 16:45:04

一、准备工作

提前说明:如果你运行出问题,请检查Kafka的版本与SpringBoot的版本是否与我文中的一致,本文中的环境已经经过测试。

  • Kafka服务版本为 kafka_2.11-1.1.0 (Scala), 也就是1.1.0
  • SpringBoot版本:1.5.10.RELEASE

  • 提前启动zk,kafka,并且创建一个Topic

[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_topic 
  • 确保你的kafka能够访问,如果访问不了,需要打开外网访问。

config/server.properties

advertised.listeners=PLAINTEXT://192.168.239.128:9092
  • Maven 依赖
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

二、项目结构

为了更加体现实际开发需求,一般生产者都是在调用某些接口的服务处理完逻辑之后然后往kafka里面扔数据,然后有一个消费者不停的监控这个Topic,然后处理数据,所以这里把生产者作为一个接口,消费者放到kafka这个目录下,注意@Component注解,不然扫描不到@KafkaListener

这里写图片描述

三、具体实现代码

SpringBoot配置文件

application.yml

spring:
  kafka:
    bootstrap-servers: 192.168.239.128:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: test
      enable-auto-commit: true
      auto-commit-interval: 1000
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
生产者
package cn.saytime.web;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * 测试kafka生产者
 */
@RestController
@RequestMapping("kafka")
public class TestKafkaProducerController {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @RequestMapping("send")
    public String send(String msg){
        kafkaTemplate.send("test_topic", msg);
        return "success";
    }

}
消费者

这里的消费者会监听这个主题,有消息就会执行,不需要进行while(true)

package cn.saytime.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

/**
 * kafka消费者测试
 */
@Component
public class TestConsumer {

    @KafkaListener(topics = "test_topic")
    public void listen (ConsumerRecord<?, ?> record) throws Exception {
        System.out.printf("topic = %s, offset = %d, value = %s \n", record.topic(), record.offset(), record.value());
    }
}

项目启动类

package cn.saytime;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class TestApplication{

    public static void main(String[] args) {
        SpringApplication.run(TestApplication.class, args);
    }
}

四、测试

运行项目,执行:http://localhost:8080/kafka/send?msg=hello

控制台输出:

topic = test_topic, offset = 19, value = hello 

为了体现消费者不止执行一次就结束,再调用一次接口:
http://localhost:8080/kafka/send?msg=kafka

topic = test_topic, offset = 20, value = kafka 

所以可以看到这里消费者实际上是不停的poll Topic数据的。

版权声明:本文为博主原创文章,转载请注明出处http://blog.csdn.net/saytime https://blog.csdn.net/saytime/article/details/79950635

SpringBoot

让你快速掌握SpringBoot框架核心知识点!
  • 2018年04月12日 22:12

SpringBoot Kafka 整合使用

前提 假设你了解过 SpringBoot 和 Kafka。 1、SpringBoot 如果对 SpringBoot 不了解的话,建议去看看 DD 大佬 和 纯洁的微笑 的系列博客。 2、Kaf...
  • tzs_1041218129
  • tzs_1041218129
  • 2018-01-06 14:05:10
  • 2094

Springboot整合kafka

1、简单介绍kafkaApache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区...
  • zhang_zha_zha
  • zhang_zha_zha
  • 2017-07-12 20:54:12
  • 2488

<em>springboot</em>集成<em>kafka</em>

<em>springboot</em> <em>kafka</em> 综合评分:0 收藏评论(2)举报 所需: 8积分/C币 下载个数: 36 开通VIP 立即下载 评论共有2条 qq_33322335 2018-04-16 10:57:08 看下,...
  • 2018年04月20日 00:00

spring boot之集成kafka

spring集成kafka的两种方法,还是用插件integration比较成熟,spring boot自带的功能还是不太全,不过简单使用都OK了...
  • u013289746
  • u013289746
  • 2017-08-26 16:14:18
  • 1179

spring boot与kafka集成

引入相关依赖 dependency> groupId>org.springframework.bootgroupId> artifactId>spring-boot-startera...
  • zoubf
  • zoubf
  • 2017-01-16 18:04:23
  • 19833

spring boot 与kafka集成

新建spring boot项目这里使用intellij IDEA 添加kafka集成maven
  • baifanwudi
  • baifanwudi
  • 2017-10-19 11:23:38
  • 1105

SpringBoot实践之---集成Kafka

首先build.gradle配置文件中引入 Kafka //kafka compile('org.apache.kafka:kafka_2.10:0.8.1.1') { exclude modu...
  • luckykapok918
  • luckykapok918
  • 2018-02-26 11:38:03
  • 211

spring boot 整合kafka

一、spirng boot 集成这里跳过了 简单入门例子:https://www.jianshu.com/p/d24bceea7665 二、pom文件 dependency> gr...
  • qq_16055765
  • qq_16055765
  • 2018-02-05 10:18:27
  • 154

Spring boot 下使用Kafka实例

一个简单的实例 步骤: 1. 添加pom 2. 编写配置文件(生产者,消费者) 3. 测试 1. 添加pom### org.springframe...
  • yy756127197
  • yy756127197
  • 2017-10-16 17:57:42
  • 2312
收藏助手
不良信息举报
您举报文章:SpringBoot(十二):SpringBoot整合Kafka
举报原因:
原因补充:

(最多只允许输入30个字)