kafka从0.2.11版本开始支持事务,本文档对kafka事务作一个简单的说明,同时给出java代码示例,并对代码做一些简单的说明,同时说明相关的注意事项。希望能对需要使用kafka事务的朋友有帮助。
2017年6月28日,Kafka官方发布了0.11.0.0的版本,从这个版本开始,kafka支持了事务。那么,什么是kafka中的事务呢?
kafka事务支持生产者能够将一组消息作为单个事务发送,该事务要么原子地成功要么失败。举个例子,用户支付了某个订单,订单支付后,需要通知库存模块去减少库存,同时需要通知优惠券模型去扣减优惠券,这两个消息你需要让它们要么都成功,要么都失败。这个时候就可以使用kafka事务。
我们先看代码。
第一步:引入依赖,在pom.xml中增加kafka client的依赖
```
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.7.0</version>
</dependency>
```
第二步:发送消息相关代码
```
Properties props = new Properties();
props.put("bootstrap.servers", "10.20.200.166:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("transactional.id", "my-transactional-id");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);
producer.initTransactions();
int c =0;
while (true) {
if(c++>=3){
break;
}
try {
producer.beginTransaction();
ProducerRecord<String, String> record = new ProducerRecord<>("TEST1", "message a " + c);
producer.send(record);
System.out.println("send TEST1 " + c);
ProducerRecord<String, String> record2 = new ProducerRecord<>("TEST2", "message b " + c);
producer.send(record2);
System.out.println("send TEST2 " + c);
producer.commitTransaction();
}catch (RuntimeException e){
System.out.println(e.getMessage());
producer.abortTransaction();
}
}
```
1. 前面6行,是为了构建一个 KafkaProducer 实例,在spring boot的工程里,这个总分通常会封装成一个方法,然后通过@Bean 完成对象的注入管理。其中 bootstrap.servers 对应你的kafka服务器的地址,需要按你本地的实际情况修改,这一类地址通常也应该放到配置文件里。
2. 第8行 producer.initTransactions(); 表示对kafka事务进行初始化,这个方法对于 每个producer 调用一次就可以了。
3. 接下来是一个循环控制,这里是想表达 可以重复使用 producer对象,发送多次事务消息。对于每一次的 事务 以 producer.beginTransaction() 表示一次事务的开始,producer.send(record) 表示这一次事务里,需要发送的消息,每个事务里,send方法可以多次调用,具休取决于业务需求,然后通过 producer.commitTransaction() 提交事务,如果发生了异常,则通过 producer.abortTransaction() 来取消事务。
注意事项:
1. transactional.id 的取值是不能重复的,如果你的环境里,只有单一节点,那这个值直接用一个固定的字符串就可以了。但是如果你的程序需要支持横向扩展,比如:同时有两个或者更多服务器同时运行你的代码,这个时候就会出问题。对于同样的transactional.id, 在一个新的KafkaProducer 调用 initTransactions 后,原来的进程就会报错。只有最新的进程能正常工作。所以这个时候,你需要保证不同的节点运行时,取到的transactional.id的值是不一样的。你可以使用 UUID.randomUUID().toString() 来生成一个保证不重复的随机ID,或者 直接在不同的实例的服务器里配置不同的transactional.id。 而对于同一个节点的运行,多次事务,是可以使用同一个KafkaProducer的,也就可以使用一样的 transactional.id。
参考文档:
https://www.confluent.io/blog/transactions-apache-kafka/