（二）LevelDB日志

SZn..

于 2023-03-10 20:59:49 发布

阅读量212

点赞数

分类专栏： LevelDB源码阅读笔记文章标签：数据库

本文链接：https://blog.csdn.net/GAN354M/article/details/129452822

版权

LevelDB源码阅读笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

概述

为了防止写入内存的数据库因为进程异常、系统掉电等情况发生丢失，leveldb在写内存之前会将本次写操作的内容写入日志文件中。
在这里插入图片描述
数据写入先写入log中，再写入memtable中，memtable写满后会变为immemtable，不可修改，同时log文件也会变成frozen log，不可修改。一旦immutable写入硬盘中，frozen log即删除。

日志具体结构

一条日志由一个或多个chunk组成，每个chunk由header和data组成，header为7个字节，分为三部分，第一部分checksum占4个字节，第二部分length占2个字节，表示chunk数据的长度。第三部分为类型，共有4中状态：full，first，middle以及last。如果一条记录只有一个chunk，则类型为full，若有多个chunk，则第一个chunk类型为First，最后一个类型为Last，中间的类型都是Middle。
在这里插入图片描述
一个block大小为32KB，可以包含一个或多个block

日志写

这部分代码在db/log_writter.cc中

do {
    const int leftover = kBlockSize - block_offset_;
    assert(leftover >= 0);
		//如果剩余空间小于7个字节（放不下header）
    if (leftover < kHeaderSize) {
      // Switch to a new block
      if (leftover > 0) {
        // Fill the trailer (literal below relies on kHeaderSize being 7)
        static_assert(kHeaderSize == 7, "");
				//将剩余空间置空
        dest_->Append(Slice("\x00\x00\x00\x00\x00\x00", leftover));
      }
      block_offset_ = 0;
    }

    // Invariant: we never leave < kHeaderSize bytes in a block.
    assert(kBlockSize - block_offset_ - kHeaderSize >= 0);

    const size_t avail = kBlockSize - block_offset_ - kHeaderSize;
    const size_t fragment_length = (left < avail) ? left : avail;

    RecordType type;
    const bool end = (left == fragment_length);
    if (begin && end) {
      type = kFullType;
    } else if (begin) {
      type = kFirstType;
    } else if (end) {
      type = kLastType;
    } else {
      type = kMiddleType;
    }
		//插入具体chunk数据
    s = EmitPhysicalRecord(type, ptr, fragment_length);
    ptr += fragment_length;
    left -= fragment_length;
    begin = false;
  } while (s.ok() && left > 0);

//将chunk写入日志文件中
Status Writer::EmitPhysicalRecord(RecordType t, const char* ptr,
                                  size_t length) {
  assert(length <= 0xffff);  // Must fit in two bytes
  assert(block_offset_ + kHeaderSize + length <= kBlockSize);

  // Format the header
  char buf[kHeaderSize];
  buf[4] = static_cast<char>(length & 0xff);
  buf[5] = static_cast<char>(length >> 8);
  buf[6] = static_cast<char>(t);

  // Compute the crc of the record type and the payload.
  uint32_t crc = crc32c::Extend(type_crc_[t], ptr, length);
  crc = crc32c::Mask(crc);  // Adjust for storage
  EncodeFixed32(buf, crc);

  // Write the header and the payload
  Status s = dest_->Append(Slice(buf, kHeaderSize));
  if (s.ok()) {
    s = dest_->Append(Slice(ptr, length));
    if (s.ok()) {
      s = dest_->Flush();
    }
  }
  block_offset_ += kHeaderSize + length;
  return s;
}