Springboot如何整合Kafka

springboot：整合Kafka

一、环境配置

依赖

    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
    </dependency>

yaml配置

spring:
  application:
    name: demo

kafka:
    bootstrap-servers: 1.14.252.45:19092,1.14.252.45:19093,1.14.252.45:19094
    producer: # producer 生产者
      retries: 0 # 重试次数
      acks: 1 # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
      batch-size: 16384 # 批量大小
      buffer-memory: 33554432 # 生产端缓冲区大小
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer: # consumer消费者
      group-id: javagroup # 默认的消费组ID
      enable-auto-commit: true # 是否自动提交offset
      auto-commit-interval: 100  # 提交offset延时(接收到消息后多久提交offset)
      # earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
      # latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
      # none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
      auto-offset-reset: latest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

二、springboot整合Kafka

简单demo

下面示例创建了一个生产者，发送消息到topic1，消费者监听topic1消费消息。监听器用@KafkaListener注解，topics表示监听的topic，支持同时监听多个，用英文逗号分隔。

KafkaTemplate调用send时默认采用异步发送，如果需要同步获取发送结果，调用get方法

    @RestController
    public class KafkaController {
   
    
      @Autowired
      private KafkaTemplate<String, Object> kafkaTemplate;
    
      @GetMapping("/kafka/normal/{message}")
      public void sendMessage1(@PathVariable("message") String normalMessage) {
   
          kafkaTemplate.send("topic1", normalMessage);
      }
    
      @KafkaListener(topics = {
   "topic1"})
      public void onMessage1(ConsumerRecord<?, ?> record){
   
          // 消费的哪个topic、partition的消息,打印出消息内容
          System.out.println("简单消费："+record.topic()+"-"+record.partition()+"-"+record.value());
      }
    }

带回调的生产者

kafkaTemplate提供了一个回调方法addCallback，我们可以在回调方法中监控消息是否发送成功 或 失败时做补偿处理，有两种写法

@GetMapping("/kafka/callbackOne/{message}")
public void sendMessage2(@PathVariable("message") String callbackMessage) {
   
    kafkaTemplate.send("topic1", callbackMessage).addCallback(success -> {
   
        // 消息发送到的topic
        String topic = success.getRecordMetadata().topic();
        // 消息发送到的分区
        int partition = success.getRecordMetadata().partition();
        // 消息在分区内的offset
        long offset = success.getRecordMetadata().offset();
        System.out.println("发送消息成功:" + topic + "-" + partition + "-" + offset);
    }, failure -> {
   
        System.out.println("发送消息失败:" + failure.getMessage());
    });
}

 @GetMapping("/kafka/callbackTwo/{message}")
    public void sendMessage3(@PathVariable("message") String callbackMessage) {
   
        kafkaTemplate.send("topic1", callbackMessage).addCallback(new ListenableFutureCallback<SendResult<String, Object>>() {
   
            @Override
            public void onFailure(Throwable ex) {
   
                System.out.println("发送消息失败："+ex.getMessage());
            }
            @Override
            public void onSuccess(SendResult<String, Object> result) {
   
                    System.out.println("发送消息成功：" + result.getRecordMetadata().topic() + "-"
                            + result.getRecordMetadata().partition() + "-" + result.getRecordMetadata().offset());
            }
    });
}

分区策略

我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。其路由机制为

• 若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区
• 若发送消息时未指定 patition，但指定了 key（kafka允许为每条消息设置一个key），则对key值进行hash计算，根据计算结果路由到指定分区，这种情况下可以保证同一个 Key 的所有消息都进入到相同的分区
• patition 和 key 都未指定，则使用kafka默认的分区策略，轮询选出一个 patition

验证默认分区策略

创建一个first分区，分区分别为0,1,2

docker部署kafdrop可视化界面

docker run -dit -p --name kafdrop 9000:9000 -e JVM_OPTS="-Xms32M -Xmx64M" -e KAFKA_BROKERCONNECT=1.14.252.45:19092,1.14.252.45:19093,1.14.252.45:19094 -e SERVER_SERVLET_CONTEXTPATH="/" obsidiandynamics/kafdrop

    //指定分区发送，不管key是什么，到同一个分区
    @GetMapping("/kafka/partitionSend/{key}")
    public void setPartition(@PathVariable("key") String key) {
   
        kafkaTemplate.send("first", 0, key, "key=" + key + "，msg=指定0号分区");
    }

    //指定key发送，不指定分区，根据key做hash，相同key到同一个分区
    @GetMapping("/kafka/keysend/{key}")
    public void setKey(@PathVariable("key") String key) {
   
        kafkaTemplate.send("first", key, "key=" + key + "，msg=不指定分区");
    }

    @KafkaListener(topics = {
   "first"},topicPattern = "0")
    public void onMessage(