kafka异步发送数据
对于一个项目,我试图记录用户的基本交易,例如添加和删除一个项目以及多种类型的项目,并为每笔交易向kafka发送一条消息。 日志机制的准确性不是至关重要的,在kafka服务器停机的情况下,我不希望它阻止我的业务代码。 在这种情况下,将数据发送到kafka的异步方法是更好的方法。
我的kafka生产者代码在其引导项目中。 为了使其异步,我只需要添加两个注释:@EnableAsync和@Async。
@EnableAsync将在您的配置类中使用(还要记住,带有@SpringBootApplication的类也是配置类),并将尝试查找TaskExecutor bean。 如果没有,它将创建一个SimpleAsyncTaskExecutor。 SimpleAsyncTaskExecutor适用于玩具项目,但对于任何大于此的项目都存在一定的风险,因为它不限制并发线程,也不会重用线程。 为了安全起见,我们还将添加一个任务执行者bean。
所以,
@SpringBootApplication public class KafkaUtilsApplication {
public static void main(String[] args) {
SpringApplication.run(KafkaUtilsApplication. class , args);
} }
会变成
@EnableAsync @SpringBootApplication public class KafkaUtilsApplication {
public static void main(String[] args) {
SpringApplication.run(KafkaUtilsApplication. class , args);
}
@Bean
public Executor taskExecutor() {
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
executor.setCorePoolSize( 2 );
executor.setMaxPoolSize( 2 );
executor.setQueueCapacity( 500 );
executor.setThreadNamePrefix( "KafkaMsgExecutor-" );
executor.initialize();
return executor;
} }
如您所见,这里没有太多变化。 我设置的默认值应根据您的应用程序需求进行调整。
我们需要的第二件事是添加@Async。
我的旧代码是:
@Service public class KafkaProducerServiceImpl implements KafkaProducerService {
private static final String TOPIC = "logs" ;
@Autowired
private KafkaTemplate<String, KafkaInfo> kafkaTemplate;
@Override
public void sendMessage(String id, KafkaType kafkaType, KafkaStatus kafkaStatus) {
kafkaTemplate.send(TOPIC, new KafkaInfo(id, kafkaType, kafkaStatus);
} }
如您所见,同步代码非常简单。 它只需要kafkaTemplate并将消息对象发送到“ logs”主题。 我的新代码比这更长。
@Service public class KafkaProducerServiceImpl implements KafkaProducerService {
private static final String TOPIC = "logs" ;
@Autowired
private KafkaTemplate kafkaTemplate;
@Async
@Override
public void sendMessage(String id, KafkaType kafkaType, KafkaStatus kafkaStatus) {
ListenableFuture<SendResult<String, KafkaInfo>> future = kafkaTemplate.send(TOPIC, new KafkaInfo(id, kafkaType, kafkaStatus));
future.addCallback( new ListenableFutureCallback<>() {
@Override
public void onSuccess( final SendResult<String, KafkaInfo> message) {
// left empty intentionally
}
@Override
public void onFailure( final Throwable throwable) {
// left empty intentionally
}
});
} }
在这里,onSuccess()对我而言并不真正有意义。 但是onFailure()我可以记录该异常,以便通知我我的kafka服务器是否有问题。
我还要与您分享另一件事。 为了通过kafkatemplate发送对象,我必须为其配备序列化文件。
public class KafkaInfoSerializer implements Serializer<kafkainfo> {
@Override
public void configure(Map map, boolean b) {
}
@Override
public byte [] serialize(String arg0, KafkaInfo info) {
byte [] retVal = null ;
ObjectMapper objectMapper = new ObjectMapper();
try {
retVal = objectMapper.writeValueAsString(info).getBytes();
} catch (Exception e) {
// log the exception
}
return retVal;
}
@Override
public void close() {
} }
另外,不要忘记为其添加配置。 有几种方法可以为kafka定义序列化器。 最简单的方法之一是将其添加到application.properties。
spring.kafka.producer.key-serializer = org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer = com.sezinkarli.kafkautils.serializer.KafkaInfoSerializer
现在,您有了一个启动项目,该项目可以将异步对象发送到所需的主题。
翻译自: https://www.javacodegeeks.com/2020/01/send-your-data-async-on-kafka.html
kafka异步发送数据