SpringBoot 整合 Kafka、生产端、消费端代码实现

1、 加入kafka maven依赖

<dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
</dependency>

2、 kafka 参数配置及详细解释

# 以逗号分隔的主机：端口对列表，用于建立与Kafka群集的初始连接
spring.kafka.bootstrap-servers=xx.69.233.24x:9092
#如果该值大于零时，表示启用重试失败的发送次数
spring.kafka.producer.retries=3
#每当多个记录被发送到同一分区时，生产者将尝试将记录一起批量处理为更少的请求，
#这有助于提升客户端和服务器上的性能，此配置控制默认批量大小（以字节为单位），默认值为16384
spring.kafka.producer.batch-size=16384
#生产者可用于缓冲等待发送到服务器的记录的内存总字节数，默认值为33554432
spring.kafka.producer.buffer-memory=33554432
#procedure要求leader在考虑完成请求之前收到的确认数，用于控制发送记录在服务端的持久化，其值可以为如下：
#acks = 0 如果设置为零，则生产者将不会等待来自服务器的任何确认，该记录将立即添加到套接字缓冲区并视为已发送。在这种情况下，无法保证服务器已收到记录，并且重试配置将不会生效（因为客户端通常不会知道任何故障），为每条记录返回的偏移量始终设置为-1。
#acks = 1 这意味着leader会将记录写入其本地日志，但无需等待所有副本服务器的完全确认即可做出回应，在这种情况下，如果leader在确认记录后立即失败，但在将数据复制到所有的副本服务器之前，则记录将会丢失。
#acks = all 这意味着leader将等待完整的同步副本集以确认记录，这保证了只要至少一个同步副本服务器仍然存活，记录就不会丢失，这是最强有力的保证，这相当于acks = -1的设置。
#可以设置的值为：all, -1, 0, 1
spring.kafka.producer.acks=1
#key的Serializer类，实现类实现了接口org.apache.kafka.common.serialization.Serializer
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
#用于标识此使用者所属的使用者组的唯一字符串。
spring.kafka.consumer.group-id=default‐group
#如果为true，则消费者的偏移量将在后台定期提交，默认值为true
spring.kafka.consumer.enable-auto-commit=false
#当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办，默认值为latest，表示自动将偏移重置为最新的偏移量
#可选的值为latest, earliest, none
spring.kafka.consumer.auto-offset-reset=earliest
#值的反序列化器类，实现类实现了接口org.apache.kafka.common.serialization.Deserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
#密钥的反序列化器类，实现类实现了接口org.apache.kafka.common.serialization.Deserializer
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
#侦听器的AckMode,参见https://docs.spring.io/spring-kafka/reference/htmlsingle/#committing-offsets
#当enable.auto.commit的值设置为false时，该值会生效；为true时不会生效
spring.kafka.listener.ack-mode=manual_immediate

3、 生产者，发送消息

@Component
public class KafkamqSend {

    private final static String TOPIC_NAME = "test-topic";

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * 指定topic发送消息
     *
     * @param message
     */
    public void send(String message) {
        kafkaTemplate.send(TOPIC_NAME, 0, "key", message);
    }
}

4、消费端-接收消息

@Component
public class KafkaMqListener {

    /**
     * 不指定消费组消费
     *
     * @param record
     * @param ack
     */
    @KafkaListener(topics = "test-topic")
    public void listenerOne(ConsumerRecord<String, String> record, Acknowledgment ack) {
        String value = record.value();
        System.out.println("test-topic 接收到的内容：" + value);
        //手动提交offset
        ack.acknowledge();
    }

    /**
     * 指定消费组消费
     *
     * @param record
     * @param ack
     */
    @KafkaListener(topics = "test-topic", groupId = "group1")
    public void listenerTwo(ConsumerRecord<String, String> record, Acknowledgment ack) {
        String value = record.value();
        System.out.println("test-topic 接收到的内容：" + value);
        //手动提交offset
        ack.acknowledge();
    }

    /**
     * 指定消费组消费
     *
     * @param record
     * @param ack
     */
    @KafkaListener(topics = "test-topic", groupId = "group2")
    public void listenerThree(ConsumerRecord<String, String> record, Acknowledgment ack) {
        String value = record.value();
        System.out.println("test-topic 接收到的内容：" + value);
        //手动提交offset
        ack.acknowledge();
    }

    /**
     * topicPartitions 指定topic分区消费
     * PartitionOffset 指定偏移量offset消费
     * concurrency 就是同组下的消费者个数，就是并发消费数，必须小于等于分区总数
     *
     * @param record
     * @param ack
     */
    @KafkaListener(
            topicPartitions = {@TopicPartition(topic = "test-topic", partitions = "1",
                    partitionOffsets = @PartitionOffset(partition = "1", initialOffset = "100"))},
            concurrency = "0")
    public void listenerFour(ConsumerRecord<String, String> record, Acknowledgment ack) {
        String value = record.value();
        System.out.println("test-topic 接收到的内容：" + value);
        //手动提交offset
        ack.acknowledge();
    }
    
}