LogSegment代表了一个Segment文件,其中有3个字段,分别代表.log,.index,.timeIndex文件,即log,index和timeIndex
核心字段
log:对应.log文件,FileRecords类型,内含有一个FileChannel对象,主要用来操作文件
index:对应.index文件,OffsetIndex类型,对索引文件的操作进行了一些封装
timeIndex:对应.timeIndex文件,和OffsetIndex类似
baseOffset:基础位移,基之前举的例子里的238
indexIntervalBytes:表示每相隔多少字节就生成一个索引,即以前举的例子里的1kb
bytesSinceLastIndexEntry:当前segment已经添加了多少个字节的消息,主要用来和indexIntervalBytes比较,判断是否需要生成索引,在生成索引后又重置为0
接下来看下核心的几个方法
存储消息
def append(firstOffset: Long, largestOffset: Long, largestTimestamp: Long, shallowOffsetOfMaxTimestamp: Long, records: MemoryRecords) {
if (records.sizeInBytes > 0) {
val physicalPosition = log.sizeInBytes()
if (physicalPosition == 0)
rollingBasedTimestamp = Some(largestTimestamp)
//....
// 写入消息后,返回写入的大小
val appendedBytes = log.append(records)
// 更新最大时间戳
if (largestTimestamp > maxTimestampSoFar) {
maxTimestampSoFar = largestTimestamp
offsetOfMaxTimestamp = shallowOffsetOfMaxTimestamp
}
// 判断是否需要生成索引,当前批次中,消息总大小为bytesSinceLastIndexEntry
if (bytesSinceLastIndexEntry > indexIntervalBytes) {
// 生成索引
index.append(firstOffset, physicalPosition)
timeIndex.maybeAppend(maxTimestampSoFar, offsetOfMaxTimestamp)
// 生成索引后重新计算
bytesSinceLastIndexEntry = 0
}
// 累加消息大小