Kafka(六)生产者事务

Kafka 事务原理

生产者创建时,设置全局唯一的事务ID --- TransactionID;事务ID与PID绑定,当producer重启后,会根据事务ID查找PID,因此能够保证全局at-exactly-once语义

配置方法:transactional.id(注:使用事务的前提是必须开启幂等性)

解决全局精确唯一语义是kafka事务引入的初衷,但是后期又引入的新的功能:producer生产消息的batch在一个原子单元内完成;

也就是说:当前batch的消息要么全部生产成功,要么全部失败,并且故障恢复后,能够保证事务ID不变;

这里需要提一下:事务ID是由用户指定的,而PID是生产者创建成功后,producer向kafka申请的;并且两者为1:1关系

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Kafka 是一个分布式流处理平台,主要用于构建实时数据管道和数据湖,特别适合于大规模、高吞吐量和低延迟的数据传输场景。作为生产者,你可以使用 Kafka 提供的客户端库向主题(Topic)中写入数据,这个过程通常包含以下几个步骤: 1. **创建生产者实例**:首先,你需要创建一个 `KafkaProducer` 或者更现代的 `KafkaProducer<关键值, 消息体>` 对象,这取决于你的消息是否携带键值对。 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); // 替换为实际的 broker 地址 KafkaProducer<String, String> producer = new KafkaProducer<>(props); ``` 2. **设置消息格式**:确定要发送的消息类型,这里是一个简单的字符串,但可以根据需求定制。 3. **准备消息**:定义要发送的主题名(Topic Name)和消息内容。 ```java String topicName = "my-topic"; String message = "This is a sample message"; ``` 4. **发送消息**:调用 `send()` 方法将消息发送到指定主题。 ```java ProducerRecord<String, String> record = new ProducerRecord<>(topicName, message); producer.send(record); ``` 5. **提交事务(可选)**:在某些情况下,生产者可能会选择开启事务,确保消息的批量发送成功。如果开启了事务,需要调用 `producer.commitSync()` 来确认发送。 6. **关闭连接**:当生产任务完成后,记得关闭 `KafkaProducer` 对象以释放资源。 ```java producer.close(); ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值