maven依赖
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
配置
#kafkas
# 生产者集群地址
spring.kafka.producer.bootstrap-servers = 192.168.xxx,192.168.xx2
# 消费者集群地址
spring.kafka.consumer.bootstrap-servers = 192.168.xxx,192.168.xx2
#procedure要求leader在考虑完成请求之前收到的确认数,用于控制发送记录在服务端的持久化,其值可以为如下:
#acks = 0 如果设置为零,则生产者将不会等待来自服务器的任何确认,该记录将立即添加到套接字缓冲区并视为已发送。在这种情况下,无法保证服务器已收到记录,并且重试配置将不会生效(因为客户端通常不会知道任何故障),为每条记录返回的偏移量始终设置为-1。
#acks = 1 这意味着leader会将记录写入其本地日志,但无需等待所有副本服务器的完全确认即可做出回应,在这种情况下,如果leader在确认记录后立即失败,但在将数据复制到所有的副本服务器之前,则记录将会丢失。
#acks = all 这意味着leader将等待完整的同步副本集以确认记录,这保证了只要至少一个同步副本服务器仍然存活,记录就不会丢失,这是最强有力的保证,这相当于acks = -1的设置。
#可以设置的值为:all, -1, 0, 1
spring.kafka.producer.acks = -1
spring.kafka.producer.key-serializer = org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer = org.apache.kafka.common.serialization.StringSerializer
spring.kafka.consumer.key-deserializer = org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer = org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.group-id = ihc-web
#开启手动提交
#spring.kafka.listener.ack-mode = manual
#是否消费完为自动提交
spring.kafka.consumer.enable-auto-commit = true
##如果'enable.auto.commit'为true,则消费者偏移自动提交给Kafka的频率(以毫秒为单位),默认值为5000。
spring.kafka.consumer.auto-commit-interval = 5000
#当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办,默认值为latest,表示自动将偏移重置为最新的偏移量,
# latest 表示只消费当前时间段之后的数据,
# earliest 表示在队列里面最早的可消费的数据,
# none 什么都不做,跟随broker的配置
spring.kafka.consumer.auto-offset-reset = earliest
# 每次拉取的最大数据量,配置为10表示,每次拉取10条到本地,但消费的话,依然是一条条消费,根据自己的消费应用逻辑处理耗时配置,防止消费超时导致消息堆积
spring.kafka.consumer.max-poll-records = 30
#每次拉取消息的消费超时时间
spring.kafka.consumer.properties.max.poll.interval.ms = 300000
# 会话的超时限制。如果consumer在这段时间内没有发送心跳信息,则它会被认为挂掉了,并且reblance将会产生,必须在[group.min.session.timeout.ms, group.max.session.timeout.ms]范围内。默认:10000
spring.kafka.consumer.properties.session.timeout.ms = 30000
配置类
/**
* kafka配置
* @author kl
* @date 2024-07-09
*/
@Configuration
@EnableConfigurationProperties({KafkaProperties.class})
public class KafkaConfig {
private final KafkaProperties properties;
public KafkaConfig(KafkaProperties properties) {
this.properties = properties;
}
@Bean("kafkaTemplate")
public KafkaTemplate<String, String> kafkaTemplate() {
KafkaTemplate<String, String> kafkaTemplate = new KafkaTemplate<>(kafkaProducerFactory());
kafkaTemplate.setProducerListener(kafkaProducerListener());
return kafkaTemplate;
}
@Bean
public ProducerListener<String, String> kafkaProducerListener() {
return new LoggingProducerListener<>();
}
@Bean
public ProducerFactory<String, String> kafkaProducerFactory() {
return new DefaultKafkaProducerFactory<>(this.properties.buildProducerProperties());
}
}
生产者工具类
@Component("kafkaProducer")
@Slf4j
public class KafkaProducer {
@Resource
private KafkaTemplate<String, String> kafkaTemplate;
/**
* kafka发消息
*
* @param topic
* @param msg
*/
public void sendMsg(String topic, Object msg) {
try {
String msgJson = JSON.toJSONString(msg);
kafkaTemplate.send(topic, msgJson);
} catch (Exception e) {
log.error("发送kafka消息失败,error->", e);
}
}
/**
* @param topic 消息主题
* @param msg 消息内容
* @param key 消息分区队列key,同一个key保证消息消费顺序执行
*/
public void sendMsg(String topic, Object msg,String key) {
try {
String msgJson = JSON.toJSONString(msg);
kafkaTemplate.send(topic, key,msgJson);
log.info("发送消息,topic:{},msg:{},key:{}",topic,msgJson,key);
} catch (Exception e) {
log.error("发送kafka消息失败,error->", e);
}
}
}
消费者
@Slf4j
@Component("KafkaConsumer")
public class KafkaConsumer {
@KafkaListener(topics = "KL_TEST_TESTTOPIC",groupId = "kl-test")
public void sync3TPTask(ConsumerRecord<String, String> data) {
//业务代码
try{
TaskSyncKafkaDTO taskSyncKafkaDTO = JSONObject.parseObject(data.value(),TaskSyncKafkaDTO.class);
...
}catch (Exception e){
log.error("kafkaXXX失败:"+data.toString());
}
}
}
消费者手动提交
以上的是消费者自动提交消息,如果改成手动提交需要:
1.修改配置
#开启手动提交
spring.kafka.listener.ack-mode = manual
#是否消费完为自动提交
spring.kafka.consumer.enable-auto-commit = false
2.消费
@Slf4j
@Component("KafkaConsumer")
public class KafkaConsumer {
@KafkaListener(topics = "KL_TEST_TESTTOPIC",groupId = "kl-test")
public void sync3TPTask(ConsumerRecord<String, String> data, Acknowledgment ack) {
//业务代码
...
//手动提交消息偏移量
ack.acknowledge();
}
}
批量消费
TODO
思考
1.Kafka重复消费怎么避免,怎么保证数据幂等性?-一锁二判三更新…
2.Kafka消息堆积如何避免?–消费快快快,消费异常要不要提交消费偏移量…
3.Kafka如何保证消费顺序-保证发送消息到同一个partition…