kafka
文章平均质量分 79
六道木_
菜鸟一名~~
展开
-
Kafka系列1----Consumer Rebalance过程
1.Coordinator介绍Coordinator简单的总结一下就是负责协调组内partition分配,以及Group的管理,每个Broker上都有一个GroupCoordinator的实例 负载均衡的过程涉及以下的几个概念 - group member:一个消费组类的成员 - group leader:一个消费组的leader,负责分配partition - coodinator:...原创 2018-02-19 00:45:33 · 4989 阅读 · 0 评论 -
Kakfa系列2----Segment和Index介绍
kafka将一个partiton分割成很多个segment文件,segment下分为几部分 - index文件:索引文件,与log文件有一定的关联关系 - log文件:真正存储数据的文件例如: 这是我的topic下一个partition下中segment文件结构(为了方便调试,将segment大小设置为10K,图中包含2个segment:000.和238.) 其文件名的规则如下: ...原创 2018-03-27 00:32:10 · 2673 阅读 · 0 评论 -
Kafka系列4----LogSegment分析
LogSegment代表了一个Segment文件,其中有3个字段,分别代表.log,.index,.timeIndex文件,即log,index和timeIndex核心字段log:对应.log文件,FileRecords类型,内含有一个FileChannel对象,主要用来操作文件 index:对应.index文件,OffsetIndex类型,对索引文件的操作进行了一些封装 time...原创 2018-04-11 00:01:44 · 1847 阅读 · 0 评论 -
Kafka系列3----Log分析
Log是对segment的抽象,对多个segment的封装,外部只需要操作Log就可以了,不需要考虑往哪个segment读,往哪个segment写,内部会处理这些细节看下Log的几个核心变量和函数: @volatile private var nextOffsetMetadata: LogOffsetMetadata = _ private val segments: Co...原创 2018-04-05 12:19:43 · 1035 阅读 · 0 评论