kafka
文章平均质量分 95
apache kafka
A__Plus
这个作者很懒,什么都没留下…
展开
-
Kafka 事务以及幂等
Kafka提供了生产者发送消息的幂等性和事务特性来阻止消息的重复,这两种方式均适用于不同的应用场景,其中:消息的幂等性适用于消息在写入到服务器日志后,由于网络故障,生产者没有及时收到服务端的ACK消息,生产者误以为消息没有持久化到服务端,导致生产者重复发送该消息,造成了消息的重复现象,而幂等性就是为了解决该问题。生产者事务生产者事务有两种典型的用途,一种是将多个消息的提交操作作为一个原...原创 2020-05-29 19:29:56 · 1188 阅读 · 1 评论 -
Kafka 2.2.0 服务端消息存储方式
Kafka通过主题(topic)将消息归类,各个主题相互独立,每个主题包含一个或多个分区(partition),分区数量可以动态修改,Kafka保证消息在一个分区中是有序的,分区中的每个消息都有一个唯一的偏移量(offset)。一个分区同时可以包含多个分区副本:一个leader副本和一或多个follower副本,只有leader副本负责消息的接收和发送,其余副本负责与leader副本保持同步,从而...原创 2019-09-12 19:41:45 · 745 阅读 · 0 评论 -
Kafka 2.2.0 消息日志清理机制:日志删除 日志压缩
Kafka将消息持久化到磁盘中的Log中,为了控制日志文件的大小就需要对消息进行清理操作。每个Log对应一个分区副本,Log可以分为多个日志分段,便于日志的清理操作。Kafka有两种日志清理策略:日志删除:按照保留策略删除日志分段需要将Broker端参数log.cleanup.policy设置为delete(默认值)日志压缩:根据每个消息的key进行整合,对于有相同的key的消息,只保留...原创 2019-09-14 21:36:44 · 3359 阅读 · 0 评论 -
Kafka 2.2.0 Java客户端开发——消息消费者
快速入门Kafka消息消费者逻辑应当具备以下步骤:配置消费者参数,创建KafkaConsumer实例;订阅至少一个主题;拉取消息获得ConsumerRecords,遍历ConsumerRecords获取ConsumerRecord对象,从中提取消息的内容;程序退出或者无需消费消息时关闭KafkaConsumer。public class Consumer { public ...原创 2019-09-08 15:23:55 · 1727 阅读 · 0 评论 -
Kafka 2.2.0 Java客户端开发——消息生产者
快速入门Kafka消息生产者逻辑应当具备以下步骤:配置生产者参数,创造生产者实例KafkaProducer构建待发送的消息ProducerRecord发送消息程序退出或者无需生产消息时关闭生产者实例KafkaProducer示例代码:public class Producer { public static void main(String[] _args) throws...原创 2019-09-07 00:52:31 · 705 阅读 · 0 评论