[LevelDB]LevelDB版本管理的黑魔法-为什么能在不锁表的情况下管理数据？

已于 2025-05-18 20:57:22 修改
阅读量470 收藏 6
点赞数 11
分类专栏： LevelDB源码指南 文章标签： oracle 数据库 db dba c++ c语言 数据库开发
于 2025-05-18 18:40:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luog_aiyu/article/details/145954197
版权

文章摘要

  1. LevelDB的日志管理系统是怎么通过双链表来进行数据管理
  2. 为什么LevelDB能够在不锁表的情况下进行日志新增

适用人群:

  1. 对版本管理机制有开发诉求，并且希望参考LevelDB的版本开发机制。
  2. 数据库相关从业者的专业人士。
  3. 计算机狂热爱好者，对计算机的存储机制有强烈技术追求的同志。

阅读建议:

  1. 作者本人功底有限不太可能考虑到所有读者的阅读细节，建议读者先通盘阅读下本文，先熟悉本文中会出现哪些关键概念和关键流程，并配合上AI工具对文章中个别流程进行细致理解。

LevelDB版本管理机制

核心抽象

在这里插入图片描述
主要分为

  1. 版本管理层：版本抽象相关的操作和逻辑。
  2. 文件管理层： 主要和文件磁盘上的物化数据打交道。
  3. 快照管理层：依托快照对外暴露固化查询的服务。
抽象职能
Version版本管理的最小单位,维护特定时刻的数据库状态，管理文件集合
VersionSet版本集合管理器，负责管理所有版本，维护当前版本，处理版本切换
VersionEdit版本变更记录，记录版本间的差异，支持变更的序列化和反序列化
Builder版本构建器，负责构建新版本，应用版本变更
Compaction压缩任务管理，处理文件压缩，生成新的版本变更
FileMetaData文件元数据，记录文件的基本信息（大小、范围等）
Manifest清单文件管理，持久化版本信息，支持数据库恢复
Snapshot数据库某一时刻的快照，提供一致性读取视图，基于序列号实现
SnapshotList快照列表管理，维护所有活跃的快照，管理快照的生命周期

这里面的重点是：

版本管理层（Version）核心逻辑

在这里插入图片描述

  1. 客户端向VersionSet抽象请求版本变更操作
  2. VersionSet 通过创建VersionEdit来记录一些当前操作的变更
  3. 使用Build模式来创建新版本并更新当前的版本

亮点设计:

  1. 使用新建Version的方式来实现无锁读取，简化并发控制。
  2. 使用Builder(构建者模式)来进行构建，对代码进行解耦。
  3. 使用VersionEdit进行增量更新，并且能够通过VersionEdit来进行日志记录。

源代码细节说明

客户端(通常理解是应用LevelDB的机器)调用LevelDB的LogAndApply接口来进行版本新增

// 调用入口
s = versions_->LogAndApply(&edit, &mutex_);

简单来说，就是生成一个新的版本Version，并添加到当前的版本管理链表中。
在这里插入图片描述
LogAndApply方法主要有以下的核心阶段（流程图见下文）

  • 初始化一些必要参数,如log_number_(日志编号: 用于后续清理WAL无用日志), file_number(文件编号-用于实现文件的唯一性)，Sequence(用于实现序列号唯一性)
    在这里插入图片描述
    源码参考:
  // 日志版本号-用于实现WAL 预写入机制-用于清理当时用不了的文件
  if (edit->has_log_number_) {
    assert(edit->log_number_ >= log_number_);
    assert(edit->log_number_ < next_file_number_);
  } else {
    edit->SetLogNumber(log_number_);
  }

  if (!edit->has_prev_log_number_) {
    edit->SetPrevLogNumber(prev_log_number_);
  }
  // file_number 文件编号-用于实现文件的唯一性  
  // sequence: 用于控制序列唯一性
  edit->SetNextFile(next_file_number_);
  edit->SetLastSequence(last_sequence_);
  • 构建新版本(包括对版本的压缩打分)
    在这里插入图片描述
  1. 创建新版本 -亮点： 使用Builder模式来构建新版本
  2. Apply 方法 用于根据edit中的信息来生成对应的build构造器
  3. SaveTo 方法 用于将build构造器中的信息应用到新的version中
  Version* v = new Version(this);
  {
    Builder builder(this, current_);
    builder.Apply(edit);
    builder.SaveTo(v);
  }
  // 计算 最佳压缩层级
  Finalize(v);
  • MANIFEST处理阶段, 这里的MANIFEST
    在这里插入图片描述
 // MANIFEST 文件处理
 std::string new_manifest_file;
 Status s;
 if (descriptor_log_ == nullptr) {// 日志
   assert(descriptor_file_ == nullptr);// 底层文件操作
   new_manifest_file = DescriptorFileName(dbname_, manifest_file_number_);
   s = env_->NewWritableFile(new_manifest_file, &descriptor_file_);
   if (s.ok()) {
     descriptor_log_ = new log::Writer(descriptor_file_);
     // 写入快照-本质上是向 Manifest 日志中写入当前的文件状态，防止记录丢失
     s = WriteSnapshot(descriptor_log_);
   }
 }
  • 文件同步阶段
    在这里插入图片描述
{
    mu->Unlock();

    if (s.ok()) {
      std::string record;
      edit->EncodeTo(&record);
      s = descriptor_log_->AddRecord(record);
      if (s.ok()) {
        s = descriptor_file_->Sync();
      }
      if (!s.ok()) {
        Log(options_->info_log, "MANIFEST write: %s\n", s.ToString().c_str());
      }
    }

    if (s.ok() && !new_manifest_file.empty()) {
      s = SetCurrentFile(env_, dbname_, manifest_file_number_);
    }

    // 重新获取锁
    mu->Lock();
  }
  • 完成安装阶段
    在这里插入图片描述

  // 让基于VersionEdit和老版本
  if (s.ok()) {
    // 将新版本添加到版本链表
    AppendVersion(v);
    // 更新日志文件号
    log_number_ = edit->log_number_;
    prev_log_number_ = edit->prev_log_number_;
  } else {
    //  快照写入失败
    delete v;
    if (!new_manifest_file.empty()) {
      // 清理新创建的 MANIFEST 文件相关资源
      delete descriptor_log_;
      delete descriptor_file_;
      descriptor_log_ = nullptr;
      descriptor_file_ = nullptr;
      env_->RemoveFile(new_manifest_file);
    }
  }
  return s;
}

猜你喜欢

C++多线程： https://blog.csdn.net/luog_aiyu/article/details/145548529
一文了解LevelDB数据库读取流程：https://blog.csdn.net/luog_aiyu/article/details/145946636
一文了解LevelDB数据库写入流程：https://blog.csdn.net/luog_aiyu/article/details/145917173
关于LevelDB存储架构到底怎么设计的：https://blog.csdn.net/luog_aiyu/article/details/145965328?spm=1001.2014.3001.5502

PS

你的赞是我很大的鼓励
我是darkchink，一个计算机相关从业者&一个摩托佬&AI狂热爱好者
本职工作是某互联网公司数据相关工作，欢迎来聊，内推或者交换信息
vx 二维码见： https://www.cnblogs.com/DarkChink/p/18598402

python库大全
dailinqing1984的博客
09-13 1395
这又是一个 Awesome XXX 系列的资源整理，由 vinta 发起和维护。内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。 伯乐在线已在 GitHub 上发起「Python 资源大全中文版」的整理。欢迎扩散、欢迎加入。 GitHub - jobbole/awesome-python-cn: Pyth...
[LevelDB]揭秘LevelDB暗藏的合并秘技，Compaction内部的超神操作让工程师都惊呆了！
最新发布
luog_aiyu的博客
05-18 685
本文主要介绍 在LevelDB中的核心机制 compaction, 主要用来对数据进行分级存储，并且能够根据需要动态对数据进行上推或者下移，从而在保证数据尽可能高效的读取的情况下降低存储的开销。
python-库汇总
贾继康的博客
04-05 2818
python库汇总 环境管理 包管理 管理包和依赖的工具 包仓库 本地 PyPI 仓库服务和代理 分发 打包为可执行文件以便分发。 构建工具 将源码编译成软件。 交互式解析器 交互式 Python 解析器。 文件 文件管理和 MIME（多用途的网际邮件扩充协议）类型检测。 日期和时间 操作日期和时间的类库。 文本处理 用于解析和操作文本的库。 特殊文本格式...
awesome-python(python集合框架)
影子
08-17 7365
传说， GitHub 上有一个 Awesome - XXX 系列的资源整理，这个系列以“全”闻名，但凡是有一定知识度的领域、语言、框架等，都有自己的 awesome-xxx 系列的项目。今天我们就介绍这个系列中的Python:awesome-python,它是由 vinta 发起维护的 Python 资源列表。 awesome-python 包括了Web 框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。 地址：https:.
个人文章管理备忘
rock_joker的博客
09-03 2421
个人备忘个人文章管理备忘网络TCP协议疑难杂症全景解析UDP协议疑难杂症全景解析TCP的快速重传机制TCP-IP详解：超时重传机制 个人文章管理备忘 在阅读博客文章的过程中，遇到值得记录的文章便保存下来 网络 TCP协议疑难杂症全景解析 UDP协议疑难杂症全景解析 TCP的快速重传机制 TCP-IP详解：超时重传机制 ...
python代码库-哪些 Python 库让你相见恨晚？
weixin_37988176的博客
10-29 862
Awesome Python 中文版网站?jobbole.github.ioAwesome Python中文版来啦！本文由 伯乐在线 - 艾凌风 翻译，Namco 校稿。未经许可，禁止转载！英文出处：github.com。----------------这又是一个 Awesome XXX 系列的资源整理，由 vinta 发起和维护。内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数...
驳2B文 "我为什么放弃Go语言"
dianfu2892的博客
07-06 1183
此篇文章流传甚广, 其实里面没啥干货， 而且里面很多观点是有问题的. 这个文章在golang-china很早就讨论过了. 最近因为 Rust 1.0 和 1.1 的发布, 导致这个文章又出来毒害读者. 所以写了这篇反驳文章, 指出其中的问题. 原文链接：http://blog.csdn.net/liigo/article/details/23699459 ...
驳狗屎文 "我为什么放弃Go语言"
cxlzxi的博客
12-13 8526
驳狗屎文 "我为什么放弃Go语言" 此篇文章流传甚广, 其实里面没啥干货， 而且里面很多观点是有问题的. 这个文章在 golang-china 很早就讨论过了. 最近因为 Rust 1.0 和 1.1 的发布, 导致这个文章又出来毒害读者. 所以写了这篇反驳文章, 指出其中的问题. 原文链接：http://blog.csdn.net/liigo/article/details/23
《日志：每个软件工程师都应该了解实时数据的统一抽象》
一蓑烟雨任平生
04-20 3319
本文被誉为程序员必读文章，kafka也是基于此文的思想建立的，学习消息队列的同学都应该看看。原文：The Log: What every software engineer should know about real-time data's unifying abstraction | LinkedIn Engineering 日志：每个软件工程师都应该了解实时数据的统一抽象 杰伊·克雷普斯 大约六年前，我在一个特别有趣的时候加入了 LinkedIn。我们刚刚开始遇到我们的单.
Python常用库 - 【持续整理归档】
云度
01-06 6439
Python常用库 - 【持续整理归档】，比较多，会逐步慢慢细化分类和扩从python常用库。 目录 1、常用库 2、Python文件处理库 3、Python图像处理库 4、Python游戏和多媒体类库 5、大数据与科学计算 6、其功能与软件MATLAB、Scilab和GNU Octave类似。 7、PyDy， Python动态建模函数库。 8、人工智能与机器学习 9、系统与命...
Python 常用第三方库及介绍
runnoob_1115的博客
11-07 6892
环境管理管理 Python 版本和环境的工具p：非常简单的交互式 python 版本管理工具。官网 pyenv：简单的 Python 版本管理工具。官网 Vex：可以在虚拟环境中执行命令。官网 virtualenv：创建独立 Python 环境的工具。官网 virtualenvwrapper：virtualenv 的一组扩展。官网 包管理管理包和依赖的工具。pip：Python
Python库大全以及相关连接
Prince的博客
04-29 1403
环境管理 管理 Python 版本和环境的工具 p – 非常简单的交互式 python 版本管理工具。 pyenv – 简单的 Python 版本管理工具。 Vex – 可以在虚拟环境中执行命令。 virtualenv – 创建独立 Python 环境的工具。 virtualenvwrapper- virtualenv 的一组扩展。 包管理 管理包和依赖的工具。 pip – ...
Python资源大全 屌炸Python库
zihong522的博客
07-10 1031
交互式解析器 交互式 Python 解析器。 IPython – 功能丰富的工具，非常有效的使用交互式 Python。 bpython– 界面丰富的 Python 解析器。 ptpython – 高级交互式Python解析器， 构建于python-prompt-toolkit 之上。 文件 文件管理和 MIME（多用途的网际邮件扩充协议）类型检测。 imghdr – （Python 标准库）检测图片类型。 mimetypes – （Python 标准库）将文件名映射为 MIME 类.
Oracle物理恢复相关注意点
weixin_46593978的博客
05-15 239
如果需要恢复的数据库或者数据文件不存在，则需要将全量备份集RESTORE[ 将全量备份集恢复到目标数据库中，称之为RESTORE。]到目标数据库中，然后再RECOVER[ 将增量备份集或者归档日志恢复到目标数据库中，称之为RECOVER。即Oracle数据库物理恢复的一个前提是需要有较早时期的数据库存在（即0级备份），然后服务器进程才能应用增量备份集或者归档日志将数据库恢复（RECOVER）到指定的时间点。通过定期进行恢复测试，形成完善的测试文档，当灾难发生时，DBA可以快速、熟练地进行恢复。
Oracle APEX IR报表下载CSV文件的方法
记录
05-17 363
DECLAREIS-- CSV文件名称BEGIN-- 出力ファイル名を設定lv_file_name := '员工表_' || TO_CHAR(CURRENT_DATE, 'YYYYMMDDHH24MISS');!lv_sql_txt := lv_sql_txt || ' EMPNO AS "员工编号"';lv_sql_txt := lv_sql_txt || ' , ENAME AS "员工姓名"';
BlogX项目Ai面试系列-配置管理和数据库的读写分离
2301_79914109的博客
05-17 590
在项目中，应用程序的配置通过外部化的 YAML 文件管理，主要优点包括配置与代码分离、可读性高、支持复杂数据结构等，但需注意敏感信息的安全处理。GORM 的 dbresolver 插件用于实现数据库读写分离，Sources 配置写库，Replicas 配置读库。GORM 根据操作类型自动路由请求，若读库不可用，读请求会回退到写库。若主库故障，写操作将失败，但读操作仍可通过从库执行，确保部分功能可用。
sqli-labs靶场23-28a关（过滤）
bunengyongzho666的博客
05-16 967
目录less23（--+过滤）less24（二次注入）less25（or过滤）less25a（or过滤）less26（--+和空格过滤报错）less26a（--+空格过滤盲注）less27（空格union、select过滤）less27a（空格union,select过滤）less28（空格union,select过滤）less28a（union、select过滤）get传参id=1，显示用户名和密码：?id=1'报错——判断为单引号闭合?id=1'--+还是报错，且尝试添加括号闭合符号，还是报错，说明--
ORACLE查看归档是否打开
lcgskycby的博客
05-14 435
文章摘要：本文介绍了三种检查Oracle数据库归档模式的方法。首先，通过查询V$DATABASE视图的log_mode字段，可以判断数据库是否处于归档模式（ARCHIVELOG）或非归档模式（NOARCHIVELOG）。其次，通过查询V$INSTANCE视图的archiver字段，可以确认归档进程是否已启动（STARTED）或未启动（STOPPED）。最后，使用ARCHIVELOG LIST命令可以获取更详细的归档信息，包括日志模式、自动归档状态、归档目标位置以及日志序列号等。这些方法帮助数据库管理员快速了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值