SpringBoot快速集成Kafka

maven依赖

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

配置

#kafkas
# 生产者集群地址
spring.kafka.producer.bootstrap-servers = 192.168.xxx,192.168.xx2
# 消费者集群地址
spring.kafka.consumer.bootstrap-servers = 192.168.xxx,192.168.xx2
#procedure要求leader在考虑完成请求之前收到的确认数，用于控制发送记录在服务端的持久化，其值可以为如下：
#acks = 0 如果设置为零，则生产者将不会等待来自服务器的任何确认，该记录将立即添加到套接字缓冲区并视为已发送。在这种情况下，无法保证服务器已收到记录，并且重试配置将不会生效（因为客户端通常不会知道任何故障），为每条记录返回的偏移量始终设置为-1。
#acks = 1 这意味着leader会将记录写入其本地日志，但无需等待所有副本服务器的完全确认即可做出回应，在这种情况下，如果leader在确认记录后立即失败，但在将数据复制到所有的副本服务器之前，则记录将会丢失。
#acks = all 这意味着leader将等待完整的同步副本集以确认记录，这保证了只要至少一个同步副本服务器仍然存活，记录就不会丢失，这是最强有力的保证，这相当于acks = -1的设置。
#可以设置的值为：all, -1, 0, 1
spring.kafka.producer.acks = -1
spring.kafka.producer.key-serializer = org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer = org.apache.kafka.common.serialization.StringSerializer
spring.kafka.consumer.key-deserializer = org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer = org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.group-id = ihc-web
#开启手动提交
#spring.kafka.listener.ack-mode = manual
#是否消费完为自动提交
spring.kafka.consumer.enable-auto-commit = true
##如果'enable.auto.commit'为true，则消费者偏移自动提交给Kafka的频率（以毫秒为单位），默认值为5000。
spring.kafka.consumer.auto-commit-interval = 5000
#当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办，默认值为latest，表示自动将偏移重置为最新的偏移量，
# latest 表示只消费当前时间段之后的数据，
# earliest 表示在队列里面最早的可消费的数据,
# none 什么都不做，跟随broker的配置
spring.kafka.consumer.auto-offset-reset = earliest
# 每次拉取的最大数据量，配置为10表示，每次拉取10条到本地，但消费的话，依然是一条条消费，根据自己的消费应用逻辑处理耗时配置，防止消费超时导致消息堆积
spring.kafka.consumer.max-poll-records = 30
#每次拉取消息的消费超时时间
spring.kafka.consumer.properties.max.poll.interval.ms = 300000

# 会话的超时限制。如果consumer在这段时间内没有发送心跳信息，则它会被认为挂掉了，并且reblance将会产生，必须在[group.min.session.timeout.ms, group.max.session.timeout.ms]范围内。默认：10000
spring.kafka.consumer.properties.session.timeout.ms = 30000

配置类

/**
 * kafka配置
 * @author kl
 * @date 2024-07-09
 */
@Configuration
@EnableConfigurationProperties({KafkaProperties.class})
public class KafkaConfig {

    private final KafkaProperties properties;

    public KafkaConfig(KafkaProperties properties) {
        this.properties = properties;
    }

    @Bean("kafkaTemplate")
    public KafkaTemplate<String, String> kafkaTemplate() {
        KafkaTemplate<String, String> kafkaTemplate = new KafkaTemplate<>(kafkaProducerFactory());
        kafkaTemplate.setProducerListener(kafkaProducerListener());
        return kafkaTemplate;
    }

    @Bean
    public ProducerListener<String, String> kafkaProducerListener() {
        return new LoggingProducerListener<>();
    }

    @Bean
    public ProducerFactory<String, String> kafkaProducerFactory() {
        return new DefaultKafkaProducerFactory<>(this.properties.buildProducerProperties());
    }

}

生产者工具类

@Component("kafkaProducer")
@Slf4j
public class KafkaProducer {

    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * kafka发消息
     *
     * @param topic
     * @param msg
     */
    public void sendMsg(String topic, Object msg) {
        try {
            String msgJson = JSON.toJSONString(msg);
            kafkaTemplate.send(topic, msgJson);
        } catch (Exception e) {
            log.error("发送kafka消息失败,error->", e);
        }
    }
    /**
     * @param topic 消息主题
     * @param msg 消息内容
     * @param key 消息分区队列key，同一个key保证消息消费顺序执行
     */
    public void sendMsg(String topic, Object msg,String key) {
        try {
            String msgJson = JSON.toJSONString(msg);
            kafkaTemplate.send(topic, key,msgJson);
            log.info("发送消息,topic:{},msg:{},key:{}",topic,msgJson,key);
        } catch (Exception e) {
            log.error("发送kafka消息失败,error->", e);
        }
    }
}

消费者

@Slf4j
@Component("KafkaConsumer")
public class KafkaConsumer {

    @KafkaListener(topics = "KL_TEST_TESTTOPIC",groupId = "kl-test")
    public void sync3TPTask(ConsumerRecord<String, String> data) {
        //业务代码
        try{
            TaskSyncKafkaDTO taskSyncKafkaDTO = JSONObject.parseObject(data.value(),TaskSyncKafkaDTO.class);
            ...
        }catch (Exception e){
            log.error("kafkaXXX失败:"+data.toString());
        }
 }

}

消费者手动提交

以上的是消费者自动提交消息，如果改成手动提交需要：
1.修改配置
#开启手动提交
spring.kafka.listener.ack-mode = manual
#是否消费完为自动提交
spring.kafka.consumer.enable-auto-commit = false
2.消费

@Slf4j
@Component("KafkaConsumer")
public class KafkaConsumer {

    @KafkaListener(topics = "KL_TEST_TESTTOPIC",groupId = "kl-test")
    public void sync3TPTask(ConsumerRecord<String, String> data, Acknowledgment ack) {
        //业务代码
            ...
       //手动提交消息偏移量
       ack.acknowledge();
 }

}

批量消费

TODO

思考

1.Kafka重复消费怎么避免，怎么保证数据幂等性？-一锁二判三更新…
2.Kafka消息堆积如何避免？–消费快快快，消费异常要不要提交消费偏移量…
3.Kafka如何保证消费顺序-保证发送消息到同一个partition…