SpringBoot整合kafka及kafka部署保姆级案例

最新推荐文章于 2024-06-18 15:32:30 发布

置顶 dldfigo

最新推荐文章于 2024-06-18 15:32:30 发布

阅读量729

点赞数 3

本文链接：https://blog.csdn.net/dldfigo/article/details/115176537

版权

kafka 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

spring boot

1 篇文章 0 订阅

订阅专栏

（二）spring boot整合kafka

（三）部署工程中遇到的坑点

报错 Connection to node -1 could not be established. Broker may not be available

启动Kafka出现The Cluster ID doesn't match stored clusterId

由于服务器资源有限，此案例都是单机部署，算是小白引路案例。

（一）kafka部署

下载及修改配置

到http://kafka.apache.org/downloads.html 下载

丢到服务器，tar zxvf +文件名命令行解压。

在进入解压后的文件在config/ 目录下找到server.properties 配置文件

进行命令行 vi server.propertie 进行修改

将如图两处改为你的服务器ip ，如果在host中你有做解析处理，这里也可以填写你域名，localhost之类的，笔者在这里写的是服务器的ip.

修改完成以后就可以启动了，由于kafka正常运行前提是zookeeper处于启动状态，先确认一下zookeeper 是否启动。

jps | grep -v Jps 查看zk进程

标红为zk进程

没有的话需要自己重新部署或者启动一下zookeeper了，笔者这里不做讲解了，在kafka包里也自带了配置好了的zookeeper,在bin目录下可以找到。

启动kafka

bin目录下执行

./kafka-server-start.sh ../config/server.properties 前台启动一旦退出 kafka也随即关闭 这里不推荐

nohup ./kafka-server-start.sh ../config/server.properties & 后台启动 推荐采用这种方式

同理执行启动以后也可以通过 jps | grep -v Jps 查看kafka 进程如图

创建主题

./kafka-topics.sh --create --zookeeper 你的ip:2181 --config max.message.bytes=12800000 --config flush.messages=1 --replication-factor 1 --partitions 1 --topic 你的主题名称

笔者这里取的名称是 myqueue。

查看主题

./kafka-topics.sh --list --zookeeper 你的ip:2181

可以看到刚刚创建的主题myqueue

创建生产者

bin/kafka-console-producer.sh --broker-list 你的IP:9092 --topic myqueue

创建消费者

bin/kafka-console-consumer.sh --bootstrap-server 你的IP:9092 --topic myqueue --from-beginning

可以看到刚刚生产者输入的消息消费者已经接收到

（二）SpringBoot整合kafka

创建工程选择依赖包

项目结构

application.yml配置

spring:
  kafka:
    bootstrap-servers: xx:xx:xx:xx:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: demo
      enable-auto-commit: true
      auto-commit-interval: 1000
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

 @RestController
    @RequestMapping("producer")
    public class ProducerController {

        @Autowired
        private KafkaTemplate<String, String> kafkaTemplate;

        @RequestMapping("msg")
        public String send(String msg){
            kafkaTemplate.send("myqueue", msg);
            return "success";
        }

    }

@Component
public class Consumer {

    @KafkaListener(topics = "myqueue")
    public void listen (ConsumerRecord<?, ?> record) throws Exception {
        System.out.println( "主题名："+record.topic());
        System.out.println( "偏移量："+record.offset());
        System.out.println( "消息："+record.value());
    }
}

运行程序

可以先在服务器发送两段段消息