springboot整合kafka，实现简单生产者，消费者

创建两个springboot项目，一个生产者，一个消费者

两个项目都需要导入的kafka依赖：

		<dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.3.5.RELEASE</version>
        </dependency>

springboot项目创建过程都类似，主要就是生产者和消费者配置文件的不同

生产者

配置文件

application.yml

spring:
  # KAFKA
  kafka:
    # ָkafka服务器地址，可以指定多个
    bootstrap-servers: 192.168.1.13:9092,192.168.1.14:9092,192.168.1.15:9092
    #=============== producer生产者配置 =======================
    producer:
      retries: 0
      # 每次批量发送消息的数量
      batch-size: 16384
      # 缓存容量
      buffer-memory: 33554432
      # ָ指定消息key和消息体的编解码方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

代码

发送工具类：

@Component
 
public class KafkaSender {
 
    @Autowired
    private KafkaTemplate<String, Object> kafkaTemplate;
    private final Logger logger = LoggerFactory.getLogger(KafkaSender.class);
 
 
    public void send(String topic, String data) {

        //发送消息
        ListenableFuture<SendResult<String, Object>> future = kafkaTemplate.send(topic, data);
        future.addCallback(new ListenableFutureCallback<SendResult<String, Object>>() {
            @Override
            //推送成功
            public void onSuccess(SendResult<String, Object> result) {
                logger.info(topic + " 生产者 发送消息成功：" + result.toString());
            }

            @Override
            //推送失败
            public void onFailure(Throwable ex) {
                logger.info(topic + " 生产者 发送消息失败：" + ex.getMessage());

 
            }
        });
 
 
    }
}

测试类：
向testTopic发送10条数据

@Test
    public void sendTest(){
        for(int i=0; i<10;i++){
            kafkaSender.send("testTopic","message"+i);
        }
    }

消费者

配置文件

spring:
  # KAFKA
  kafka:
    # ָkafka服务器地址，可以指定多个
    bootstrap-servers: 192.168.1.13:9092,192.168.1.14:9092,192.168.1.15:9092
    #=============== consumer消费者配置  =======================
    consumer:
      #指定默认消费者的group id
      group-id: 1
      #earliest
      #当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
      #latest
      #当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
      #none
      #topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
      auto-offset-reset: latest
      enable-auto-commit: true
      auto-commit-interval: 100ms
      #指定消费key和消息体的编解码方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

代码

@Component
public class KafkaConsumer  {
 
    private final Logger logger = LoggerFactory.getLogger(this.getClass());
    
//下面的主题是一个数组，可以同时订阅多主题，只需按数组格式即可，也就是用“，”隔开
    @KafkaListener(topics = {"testTopic"})
    public void receive(ConsumerRecord<?, ?> record){
        logger.info("消费"+record.topic()+"中的信息");
        logger.info("消费得到的消息---value: " + record.value().toString());
    }
 
}

结果

运行上边生产者测试类，

消费者成功接收：