Kafka
文章平均质量分 93
bug制造姬
自己挖坑自己填专业户
展开
-
Kafka在SpringBoot中的实际应用(消息订阅)
当消费者提交偏移量时,它会等待服务器的确认,确保偏移量已经被记录下来,避免偏移量的丢失或提交不准确的问题。acks=1:生产者发送消息后需要等待Broker的确认消息,只要消息被成功写入Leader分区就会返回ack,这种情况下如果Leader分区发生故障,消息可能会丢失。:是否自动提交偏移量,消费者的偏移量并非自动更新的,只有消费者提交之后,kafka上存储的消费组的offset才会被更新。acks=0:生产者发送消息后,不需要等待Broker的响应,消息会立即返回,这种情况下消息可能会丢失。原创 2024-01-27 20:23:35 · 1113 阅读 · 0 评论 -
kafka学习笔记(二)-架构分析
一个partition中包含多个**segment**。一个segment是物理存储消息的最小单元,每个segment包含一定量的消息数据。配置文件中`log.segment.bytes`就定义了segment文件的最大值。segment文件的文件名,是根据下一条消息的偏移量命名的,从而实现了消息的有序性。消息数据会依次、按顺序的追加写入文件,不需要在磁盘上寻址,保证了kafka的高吞吐量。原创 2023-11-26 21:31:18 · 1729 阅读 · 0 评论 -
Kafka学习笔记(一)
Kafka是一个高吞吐量、分布式的消息引擎,它通过分区(partitioning)和复制机制(replication)来保障消息的可靠性,并通过分布式系统来实现高吞吐量的数据处理和存储。Kafka的主要特点包括:高吞吐量、低延迟:Kafka可以支持大量的消息流,每秒钟可以处理数百万条消息。单机写入TPS约在100万条/秒,消息大小10个字节。而最低的延迟只有几秒。可靠性:Kafka的分区和复制机制可以保障消息的可靠性,即使某台服务器宕机,消息也可以被恢复。原创 2023-11-16 16:22:30 · 87 阅读 · 0 评论