Kafka集成优化

1.优化参数

spring:
  kafka:
    bootstrap-servers: 10.110.2.198:9092,10.110.2.199:9092,10.110.2.201:9092
    #生产者配置
    producer:
      #发送失败后的重复发送次数
      retries: 0
      #一次最多发送数据量
      batch-size: 16384
      #批处理缓冲区：35M
      buffer-memory: 33554432
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      #acks=0：如果设置为零，则生产者将不会等待来自服务器的任何确认，该记录将立即添加到套接字缓冲区并视为已发送，无法保证服务器已收到记录
      #acks=1： 这意味着leader会将记录写入其本地日志，但无需等待所有副本服务器的完全确认即可做出回应。在leader确认消息之前，消息会被丢失
      #acks=all或者-1： 这意味着leader将等待完整的同步副本集以确认记录，这保证了只要至少一个同步副本服务器仍然存活，记录就不会丢失。acks=-1时，绝对保证数据不会丢失
      acks: -1
    #消费者配置
    consumer:
      # 分组，分组后消息不会重复消费，消息均衡分配。
      group-id: device-shadow-service
      # 自动提交的时间间隔
      auto-commit-interval: 5000
      # 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理：
      # latest（默认值）在偏移量无效的情况下，消费者将从最新的记录开始读取数据（在消费者启动之后生成的记录）
      # earliest ：在偏移量无效的情况下，消费者将从起始位置读取分区的记录
      auto-offset-reset: earliest
      #是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量
      enable-auto-commit: false
      # 在侦听器容器中运行的线程数，服务数 * concurrency = 分区数（kafka中设置）
      concurrency: 2
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      #批量消费一次性拉取的数量
      max-poll-records: 100
      #连接超时时间
      session-timeout: 10000
      #请求超时时间
      request-timeout: 300000

2. 消费者批量消费

2.1 配置类

/**
 * @date 221/9/7 11:10
 * @desc kafka生产者配置类
 */
@Component
public class KafkaConsumerConfiguration {
 
    @Value("${spring.kafka.consumer.concurrency}")
    private Integer concurrency;
 
 
    /**
     * MANUAL_IMMEDIATE 手动调用Acknowledgment.acknowledge()后立即提交
     *
     * @return
     */
    @Bean("manualImmediateListenerContainerFactory")
    public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> manualImmediateListenerContainerFactory(ConsumerFactory<String, String> consumerFactory) {
 
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory);
        // 服务数*concurrency = 分区数
        factory.setConcurrency(concurrency);
        //批量消费
        factory.setBatchListener(true);
        //设置提交偏移量的方式， MANUAL_IMMEDIATE 表示消费一条提交一次；MANUAL表示批量提交一次
        factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);
        return factory;
    }
 
}

2.2 listener

@Component
@Slf4j
public class TestConsumer {
 
    @KafkaListener(containerFactory = "manualImmediateListenerContainerFactory", topics = "topics")
    public void testListener(List<ConsumerRecord<?, ?>> records, Acknowledgment ack) {
        try {
            records.forEach(record -> {
              log.info("单条消息内容为：{}",record);
            });
 
        } catch (Exception e) {
            log.error("kafka消费消息出错,topic为:{},内容为：{}, 错误信息为：{}", topic, records, e.getMessage(), e);
        } finally {
            //手动ACK 提交offset
            ack.acknowledge();
        }
    }
}