Kafka
伏念先生
勤能补拙
展开
-
kafka __consumer_offsets
介绍 kafka在0.10.x版本后默认将消费者组的位移提交到自带的topic__consumer_offsets里面,当有消费者第一次消费kafka数据时就会自动创建,它的副本数不受集群配置的topic副本数限制,分区数默认50(可以配置),默认压缩策略为compact。 结构 key version: 版本字段,不同kafka版本的version不同 group: 对应消费者...原创 2020-02-10 11:15:17 · 2055 阅读 · 0 评论 -
__consumer_offsets topic的分区中有一个分区数据很多,多达1T
一、场景描述 kafka集群中有几台突然挂了,后台日志显示设备空间满了,消息无法写入__consumer_offsets topic的分区中了。查看kafka数据目录下各个文件的大小,发现__consumer_offsets topic分区中有一个分区__consumer_offsets-5数据很多,多达1T,而其他分区只有4KB,相差巨大。且__consumer_offsets-5中保留了...转载 2020-02-06 23:43:04 · 1044 阅读 · 0 评论 -
Kafka集群磁盘使用率瞬超85%,幕后元凶竟是它?
Kafka是一种快速、可扩展的,设计内在就是分布式的、分区的和可复制的提交日志服务。作为一种高吞吐量的分布式发布订阅消息系统,Kafka被广泛的应用于海量日志的收集、存储。网上有大量Kafka架构、原理介绍的文章,本文不再重复赘述,重点谈谈Consumer Offset默认保存机制。 Topic作为一类消息的逻辑集合,Kafka集群为其维护了一个分区的日志,其结构如图: Topic每个分区...转载 2020-02-06 23:40:46 · 693 阅读 · 0 评论