在java代码中使用kafka(springboot整合kafka)

长不大的杨瑞杰

已于 2024-05-29 11:17:16 修改

阅读量8.5k

点赞数 7

分类专栏：技术点文章标签： java spring boot kafka maven

于 2022-09-06 11:04:06 首次发布

YRJ

本文链接：https://blog.csdn.net/jerry764/article/details/126719821

版权

本文介绍了如何在SpringBoot项目中整合Kafka，包括maven依赖引入、配置broker、consumer和producer的设置。通过代码示例展示了生产者和消费者的基本功能，以及解决在连接Kafka时可能遇到的问题，如修改server.properties配置以允许外部访问。

摘要由CSDN通过智能技术生成

首先，项目是个springboot-maven项目。（使用quickstart就可以）。

引入maven依赖：

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
 </dependency>

如果是普通maven项目，也可以用这个依赖：

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.10</artifactId>
        <version>0.8.0</version>
    </dependency>

接下来，在bootstrap.yaml中添加连接kafka的配置：

spring:
  kafka:
    bootstrap-servers: 192.168.76.4:9092
    producer: # 生产者
      retries: 3 # 设置大于0的值，则客户端会将发送失败的记录重新发送
      batch-size: 16384
      buffer-memory: 33554432
      acks: 1
      # 指定消息key和消息体的编解码方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: default-group
      enable-auto-commit: false
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    listener:
      # 当每一条记录被消费者监听器（ListenerConsumer）处理之后提交
      # RECORD
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后提交
      # BATCH
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后，距离上次提交时间大于TIME时提交
      # TIME
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后，被处理record数量大于等于COUNT时提交
      # COUNT
      # TIME |　COUNT　有一个条件满足时提交
      # COUNT_TIME
      # 当每一批poll()的数据被消费者监听器（ListenerConsumer）处理之后, 手动调用Acknowledgment.acknowledge()后提交
      # MANUAL
      # 手动调用Acknowledgment.acknowledge()后立即提交，一般使用这种
      # MANUAL_IMMEDIATE
      ack-mode: manual_immediate

也可以不在bootstrap.yaml中配置，使用配置类进行配置：

private KafkaProducetest() {
    Properties props = new Properties();
    //此处配置的是kafka的端口
    props.put("metadata.broker.list", "192.168.76.4:9092");
    
    //配置value的序列化类
    props.put("serializer.class", "kafka.serializer.StringEncoder");
    //配置key的序列化类
    props.put("key.serializer.class", "kafka.serializer.StringEncoder");
    
    //0表示不确认主服务器是否收到消息,马上返回,低延迟但最弱的持久性,数据可能会丢失
    //1表示确认主服务器收到消息后才返回,持久性稍强,可是如果主服务器死掉,从服务器数据尚未同步,数据可能会丢失
    //-1表示确认所有服务器都收到数据,完美!
    props.put("request.required.acks", "-1");
    
    //异步生产,批量存入缓存后再发到服务器去
    props.put("producer.type", "async");
    
    //填充配置,初始化生产者
    producer = new Producer<String, String>(new ProducerConfig(props));
}

附上一些kafka的主要配置信息及默认值，仅供参考，按需使用。

broker的配置

name	默认值	描述
brokerid	none	每一个boker都有一个唯一的id作为它们的名字。这就允许boker切换到别的主机/端口上， consumer依然知道
enable.zookeeper	TRUE	允许注册到zookeeper
log.flush.interval.messages	Long.MaxValue	在数据被写入到硬盘和消费者可用前最大累积的消息的数量
log.flush.interval.ms	Long.MaxValue