[SQLite]浅析其二——SQLite数据库的日志

最新推荐文章于 2024-05-12 16:39:11 发布
最新推荐文章于 2024-05-12 16:39:11 发布
阅读量5.8k 收藏 18
点赞数 8
分类专栏： SQLite Android 文章标签： sqlite android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014175785/article/details/120345656
版权

文章目录

SQLite数据库的日志

SQLite数据存储是孤本数据，在写入时异常中断（断电，坏块等），会导致数据库文件结构损坏，造成数据丢失。

因此日志的存在就非常必要，在官网的介绍中指出，SQLite支持通过PRAGMA journal_mode=?的形式设置日志模式，而当前支持的日志模式有如下几种：

  • DELETE
  • TRUNCATE
  • PERSIST
  • MEMORY
  • WAL
  • OFF

除去MEMORY与OFF两种不常用的模式，其余四种实际上可以分为两个大类：WAL(预写日志)与Rollback(回滚日志)模式。

日志的分类

日志模式按照其行为的不同，可以分为WAL日志与Rollback日志模式，后者在Android中也被成为Legacy Mode（即“传统日志模式”，由于本文讨论的更多是Android下的SQLite相关细节，因此后续尽量与Android的叫法保持一致）

而分类的标准，则是日志记录的行为差异：

可能已经有人注意到了，这两种日志有两个相对来说含义相反的词：Rollback和Ahead，前者是表明日志记录的内容是用于回滚的，后者则表明日志记录的内容是领先于实际写入到数据库文件中的内容的。

再扩展一点，我们可以得到如下的概括：

  • WAL日志模式是将写入的信息先写入到一个日志文件中，待时机成熟后再同步到db文件中；
  • 回滚日志模式是在每次写入新数据之前，将原始数据备份到日志文件中，用于后续如果发生异常中断时，可以进行数据恢复；

传统日志模式的作用范围仅限于写操作，而WAL日志模式由于存在一个索引（WAL-index）文件，因此也会作用于读操作；

传统日志模式

读取数据流程

  1. 初始状态，Connection初建立时，系统没有关于该数据库的任何缓存；

    蓝色方块一块代表一个扇区（Sector），取值一般时512B，可通过/sys/block/mmcblk0/queue/hw_sector_size或等效节点查看；
    读取

  2. 申请读锁（Read Lock）

    为了保证原子性，读取数据必须在持有读锁（Read Lock）的情况下进行；

    读锁本质上是一种共享锁（Shared Lock），其特征为：可以允许两个甚至更多连接对数据库进行读取操作，但是会阻止其他连接在读取过程中对其进行写操作；
    读锁
    在没有排它锁的情况下，读锁可以快速获得；排它锁会在后面提到；

  3. 在获得读锁以后，SQLite会将磁盘上的db文件中部分数据读入到缓存，后续如果重复读取这部分数据，将不再从磁盘获取。
    缓存

  4. 读取完毕后，将数据拷贝到用户空间；
    读取

写入数据流程

由于写入数据需要对变动的数据进行备份（回滚日志），因此写入数据之前，同样需要上方读取数据所需的1-4步，然后从第5步开始为写入数据的步骤：

  1. 申请保留锁

    在进行写入操作之前，数据库需要获取一个保留锁（Reserved Lock），保留锁与共享锁类似，同样允许其他进程对这个数据库进行读取操作。但由于每个数据库文件同一时间只能允许有一个保留锁，且保留锁可以与多个进程的共享锁共存，因此同一时间只能有一个进程可以对数据库进行写操作；
    保留锁

  2. 创建回滚日志文件（Rollback Journal File）

    在传统日志模式下进行任何改动之前，SQLite会先创建一个单独的回滚日志文件，将即将改变的数据库内容，以页的单位备份到回滚日志文件中。回滚日志文件拥有一个很小的文件头（下图绿色部分），用以记录数据库文件变更前的大小，这样即使此次事物操作会导致数据库增大，我们也可以获悉之前的文件大小，这有利于我们进行事务回滚。与此同时，页号也被写入到回滚日志文件中了；

    在各大主流操作系统中，创建一个新的文件并不会立即将其写入磁盘，因此此时，回滚日志文件还存在于缓存中；
    写日志

  3. 修改用户空间数据

    修改用户空间的数据库内容，由于用户空间的内容是以拷贝形式存在的，因此修改这部分内容不会导致其他连接、其他进程读取的内容发生改变；
    在这里插入图片描述

  4. 同步回滚日志文件到磁盘；

    这里根据PRAGMA synchronous的配置不同，实现也不同，但具体暂不展开，后续单独写一篇讨论，这里假设同步文件到磁盘是原子性的，不会有任何问题即可。
    在这里插入图片描述

  5. 申请等待锁（Pending Lock）

    实际上也是两个步骤：先申请一个等待锁（Pending Lock），也称未决锁，然后将其升级为排它锁； 在这里插入图片描述

  6. 升级为排它锁（Exclusive Lock）

    等待锁允许已经获取到共享锁的进程继续读取数据库文件，禁止新的共享锁申请。设计等待锁主要时为了防止写饿死，因为如果一直有新的共享锁申请，那么接下来的排它锁永远无法获取到；

    等到所有共享锁都释放以后，等待锁会升级为排它锁；此时除了锁持有者以外，不存在其他可以读写该数据库的进程。
    在这里插入图片描述

  7. 写入修改

    然后将修改后的数据写入，通常这里的写入也只是写入到缓存中，不会真正进行磁盘写入；
    在这里插入图片描述

  8. 将数据从缓存刷入磁盘；
    刷盘

  9. 删除日志

    如果上述流程运行正常完成，没有出现系统崩溃、断电等问题，那么此时SQLite会删除回滚日志；

    这里就是同为传统日志模式，但还存在DELETE | TRUNCATE | PERSIST三种不同选项的主要差异：怎么“删除”无用的回滚日志

    根据PRAGMA journal_mode的配置不同，实现也不同：

     9.1 当journal_mode=DELETE时，这一操作是真正的删除该文件；

 9.2 当journal_mode=TRUNCATE时，这一操作仅将回滚日志文件截取为长度为0的文件；这会比DELETE快一点，因为虽然文件长度为0，但是文件存在，因此不会更新父目录的inode信息，如果层级目录越复杂，TRUNCATE的效率较DELETE越高；
     
 9.3 当journal_mode=PERSIST时，这一操作仅将回滚日志文件头修改为0；以此标记该日志文件无效，改动最小，效率最高；

    这里就是PRAGMA journal_mode=DELETE|TRUNCATE|PERSIST三者的差异；
    删除日志
    无论如何“删除”，此步骤我们得到的结果都是一样的：没有有效的回滚日志文件了

  10. 释放排它锁

    使该数据库可以重新被其他进程读写；

    注意，较早版本会在此步清除用户空间内的数据，但是考虑到这部分数据可能会被重复使用，因此在新版本上均不作清理；

    在下一次读取时，SQLite会重新获取共享锁，并通过确认数据库文件头中的修改计数，来确定缓存的数据是否最新，如果是，则直接复用；只有当计数不一致时，才会重新从缓存中读取；在大部分情况下，复用的概率更大，因此这一步修改会显著提升性能；
    在这里插入图片描述

日志回滚流程

异常中止

  1. 当在进行上述步骤8（刷盘）时,若是发生了断电情况. 那么当重新开机后,磁盘中的情况可能就是如下图所示：
    在这里插入图片描述

  2. 热日志判断

    当任意一个新的SQLite进程去访问该数据库文件时，首先会获得读锁（共享锁）。
    读锁
    当存在有日志文件时，该SQLite进程会先去检查该日志文件是否为“热日志”，判断条件如下：

    2.1 存在一个回滚日志文件
    2.2 该日志文件不为空
    2.3 主数据库文件上不存在保留锁
    2.4 日志头格式正确且不为0
    2.5 回滚日志不包含父日志(Super-Journal File)文件名称，或者日志包含父日志文件名，且主日志文件存在；（父日志文件涉及多文件提交，这里方便理解就暂不展开，默认此条为真）
    当且仅当上述5条全部满足时，该日志才会被判定为“热日志”

日志回滚

  1. 将共享锁升级为排他锁

    处理热日志的第一步是得到数据库的文件排他锁。这可以防止其他进程同时去回滚同一个日志。在这里插入图片描述

  2. 开始数据回滚

    这里进行了三个操作：

    2.1 从回滚日志中读取页面的原始内容到系统缓存；
    2.2 将数据库文件truncate回其原始大小（日志头记录了文件原始大小）；
    2.3 将内容写回到数据库文件对应的位置（日志头记录了页号）；
    回滚

  3. 删除回滚日志

    同上，对于不同的日志模式,其删除日志的方式有所不同，这里不再赘述。
    在这里插入图片描述

  4. 继续执行接下来的数据库操作（从读取数据流程的步骤3开始）

    将排他锁还原为读锁。继续执行接下的操作，中止的事务就像是从没有发生过一样。还原读锁

WAL日志模式

WAL日志模式相较于传统日志模式差异很大。受限于篇幅，这里就尽可能简单介绍一下，后续会单独开一篇把细节补齐。
首先交代一个背景：WAL日志模式下通常会存在三个文件：

  • xxx.db 数据库文件，与传统日志模式下相同
  • xxx.db-wal WAL日志文件，与传统日志模式不同的是，该日志文件会长时间存在，并不会在每次写入后清除；
  • xxx.db-shm WAL-index文件，用于对WAL日志文件中的内容进行索引，并由于其会被加载入共享内存，因此跨进程的高速查询也是可以的（但不建议这么做）
读取数据流程

与传统日志模式不同，WAL日志模式下，每次读取数据请求都会向WAL-index文件进行查询，以确认WAL日志文件中是否有更新数据：如果有，则从WAL日志文件中读取数；反之则与传统日志模式一样，从DB文件中读取数据；

写入数据流程

与传统日志模式不同，WAL日志模式可以实现读写并发，其写入数据的流程图如下：

WAL
这张图比较复杂，解读一下：

  • WAL的锁机制与传统日志模式完全不同。首先锁是作用在WAL-index上的，而不是WAL日志文件本身；其次WAL中的锁均具备两种属性：共享锁与独占锁，因此这里write(exclusive)表示WAL-index文件上锁WAL_WRITE_LOCK，且属性为独占锁；
  • Reader指代读请求，每次读请求实际上都会去寻找WAL-index的比对情况，确认是从DB文件中读取，还是从WAL日志文件中读取；图中绿色数据即表示WAL日志文件中更新后的数据；
  • Writer指代写请求，写入前会将WAL-index文件上锁（写锁，独占），然后将改动后的数据谁家到WAL日志文件有效数据的末尾（mxFrame帧之后），然后将新增的帧索引以及页号更新到WAL-index文件中，随后更新WAL-index文件的文件头，提示mxFrame发生改变，最后释放写锁；
  • WAL-index是一个记录WAL日志记录情况的索引文件，以共享内存的方式提供快速索引，减少磁盘IO，同时为跨进程通信提供高速支持，（虽然Android处于安全、权限管控等考虑，没有使用跨进程读取）；
  • 当WAL日志文件积累到一定体积后，会触发SQLite的Checkpoint机制，将WAL日志文件中的新数据写入到DB文件中；
异常恢复流程

不难看出，其实当WAL日志文件与WAL-index更新完毕后，在假定文件本身不会自然损坏的前提下（EMMC/UFS坏快），数据库就不存在损坏的可能；

当然，如果在写入或Checkpoint过程中出现断电等问题，会导致WAL-index文件或WAL日志文件的数据不完整，针对这种情况，SQLite提供了Recovery机制：

  • 如果WAL-index文件更新时错误，那么在下次读操作触发时，会判断文件头的A/B副本是否一致，如果不一致，会尝试获取一下写锁，以排除正在写入的可能；如果写锁可以正常获取，表示WAL-index文件更新时被中断了，需要根据WAL日志文件的信息（包括nBackfill与mxFrame等）对WAL-index文件进行回复；

  • 如果WAL日志文件在Checkpoint到DB文件时中断，实际上并不影响数据的读写，因为WAL-index仍会指向WAL日志文件中的数据，那么整个流程照旧，下次Checkpoint时将从失败的帧处开始同步；

  • 如果是写入WAL日志文件时断电，那么此时WAL-index文件中的mxFrame并未更新，因此会被直接丢弃；

Ryan ZHENG
关注
  • 8
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SQLite的实际应用——百度翻译
04-04
SQLite的实际应用——百度翻译
SQLite剖析(6)：临时文件和内存数据库
Jack Zhou的专栏
11-18 7755
1、7种临时文件     内容整理自http://sqlite.org/tempfiles.html。     SQLite的一个不同特性是一个数据库由单个磁盘文件构成。这简化了SQLite的使用，因为移动或备份数据库只要拷贝单个文件即可。这也使得SQLite适合用作应用程序文件格式。但是，当在单个文件中存储一个数据库时，SQLite会在处理数据库的过程中使用许多临时文件。     SQLi
SQLite .journal 文件
最新发布
激发创造，丰富生活
05-12 399
回滚日志是普通的始终位于的磁盘文件在与数据库文件相同的目录或文件夹中，并具有与数据库文件同名，但添加了 -journal 后缀。回滚日志还记录初始数据库的大小，以便在数据库文件增长时可以截断它 回滚时恢复到其原始大小。如果在事务提交之前发生崩溃或错误（如宕机），SQLite可以使用这些存储的副本来回滚（roll back）事务，从而保持数据库的一致性和完整性。的文件，并且不是一直会存在，而是生成一会就会自动删除，然后继续生成继续删除，直到数据插入完成。这样看来，与我一开始的猜测出入不大，
数据库 wal 模式 分析
明风的博客
01-04 5693
对于以下错误的解决思路   看我的另外一篇文章 https://blog.csdn.net/tianxuhong/article/details/78752357  android.database.sqlite.SQLiteCantOpenDatabaseException: unable to open database file (code 14)   ▼ 目录 1.概述 2...
SQLite3源码学习（32） WAL日志详细分析
test
06-06 3387
在前面2篇文章讲了有关WAL日志相关的一些基础知识：SQLite3源码学习（31） WAL日志的锁机制SQLite3源码学习（30）WAL-Index文件中的hash表接下来分析一下在WAL日志模式下，整个事务的处理机制和流程1.原子提交事务管理最核心的特性就是满足原子提交特性，之前的回滚日志模式实现了这个特性，而WAL日志模式也实现了原子提交的特性。在WAL日志模式下有3个文件，分别是：1.数据...
Sqlite 性能参数
李庆年
06-28 2509
Sqlite 数据库一般运行在嵌入式环境中，需要兼顾性能和硬件资源。 SQLite 使用PRAGMA命令在 SQLite 环境内控制各种环境变量和状态标志。一个 PRAGMA 值可以被读取，也可以根据需求进行设置。主要介绍几个在嵌入式开发中经常使用的关键参数。 synchronous synchronousPragma 获取或设置当前磁盘的同步模式，该模式控制积极的 SQLite 如何将数据写入物理存储。也就是说该参数控制何时执行sync指...
[sqlite] db-journal文件产生原因及说明
热门推荐
Boffi
05-24 3万+
ref:  今天在android中将sqlite的数据库文件生成在SD卡上的过程中，发现生成的.db文件的旁边生成了一个大小为0的与数据库文件同名的.db-journal文件，不明白此文件的用途，于是 google了sqlite的官方文档，发现该文件的用途如下： 该文件是sqlite的一个临时的日志文件，主要用于sqlite事务回滚机制，在事务开始时产生， 在事务结
SQLite3语法（二）
既然选择远方，便只顾风雨兼程！
06-06 2500
SQLite 的 PRAGMA 命令是一个特殊的命令，可以用在 SQLite 环境内控制各种环境变量和状态标志。一个 PRAGMA 值可以被读取，也可以根据需求进行设置。 2、 常用配置 2.1 auto_vacuum 2.1.1 VACUUM 命令通过复制主数据库中的内容到一个临时数据库文件，然后清空主数据库，并从副本中重新载入原始的数据库文件。这消除了空闲页，把表中的数据排列为连续的，另外会清理数据库文件结构。如果表中没有明确的整型主键（）， 命令可能会改变表中条目的行 ID（）。命令只适用于主数据库
关闭SQLite3中的journal暂存档
weixin_41167925的博客
05-23 1567
相信很多使用SQLite3当做数据库的人都会一个现象，那就是当SQLite3有做写入的动作时，SQLite3会自动产生一个名为"数据库名称-journal"的暂存档。这是做什么用的呢? 答案是用来Rollback ，换句话说，就是当数据写入数据库有失败动作时，透过journal档案予以复原到未更动前(原始)数据，来确保数据完整与一致性。如果在每次写入的时间很长或频繁的进行数据库写入情况下，因系统(主机)电力不稳或突然断电时，那么下次重新启动，而journal档案若存在，则在开启SQLite数据库时，若发现有
SQLite 常用性能优化配置
Tony.Dong的专栏
08-23 6124
SQLite 是一个嵌入式数据库引擎，通常以代码库的形式运行在其他程序中，因此我们不需要进行任何服务器配置。很多人都认为 SQLite 只能用于没有性能要求的小型数据库，但是实际情况并非如此。虽然 SQLite 只支持一个并发的写入操作，但是多个进程可以同时连接和查询相同的数据库。通过一些简单的配置和操作，我们完全可以使用 SQLite 创建 GB 级别的数据库并且支持高达每秒 10 万次的并发查询。
Android源码——数据库SQLite.zip
10-08
这个压缩包文件"Android源码——数据库SQLite.zip"可能包含了关于Android中SQLite数据库的源码分析、使用示例以及相关的图像资源，如1-120912223R80-L.png，可能用于解释或展示SQLite在Android中的工作原理。...
Android中SQLite数据库查看工具
05-07
SQLite 直接访问其存储文件。 为什么要用 SQLite？ 不需要一个单独的服务器进程或操作的系统（无服务器的）。 SQLite 不需要配置，这意味着不需要安装或管理。 一个完整的 SQLite 数据库是存储在一个单一的跨平台的...
VB6.0 操作SQLite 数据库的完整示例代码
08-02
在VB6.0中操作SQLite数据库，是一种将轻量级、高性能的SQLite数据库与传统的Visual Basic编程环境相结合的方法。SQLite是一种自包含、无服务器、零配置、事务性的SQL数据库引擎，广泛应用于移动设备、嵌入式系统以及...
uniAPP使用sqlite数据库demo
04-01
这个“uniAPP使用sqlite数据库demo”是一个示例项目，旨在展示如何在uniAPP中集成并操作SQLite数据库。下面我们将详细探讨相关知识点。 1. **uniAPP介绍**： - uniAPP是由HBuilderX开发的一款基于Vue.js的开源框架...
SQLite的回滚日志文件的校验机制
azurelaker的博客
09-13 1232
SQLite的回滚日志文件的作用是,当出现不完整的事务提交时(事务提交过程中,发生了断电故障或者操作系统崩溃),系统重新上电以后,SQLite使用回滚日志文件将数据库文件恢复成事务提交之前的状态,即消除不完整事务给数据库文件带来的损坏,使数据库文件对用户进程呈现一致的状态.从用户进程的角度来看,事务中的操作要么全部执行成功,要么没有对数据库文件做任何修改. SQLite如何保证回滚日志文件的内容...
显示 SQLite 日志
weixin_30770783的博客
05-10 963
通过在 Logcat 查看 SQL 执行语句可以帮助你调试 SQLite 问题， 使用 ADB SHELL 执行如下命令即可在 Logcat 输出 SQL 执行日志： adb shell setprop log.tag.SQLiteLog V adb shell setprop log.tag.SQLiteStatements V adb shell stop adb shell...
SQLite入门到精通之十二：进阶3：特殊指令：PRAGMA|Join|Unions|Alter
caobaokang的专栏
03-19 639
SQLitePRAGMA SQLite 的PRAGMA命令是一个特殊的命令，可以用在 SQLite 环境内控制各种环境变量和状态标志。一个 PRAGMA 值可以被读取，也可以根据需求进行设置。 语法 要查询当前的 PRAGMA 值，只需要提供该 pragma 的名字： PRAGMA pragma_name; 要为 PRAGMA 设置一个新的值，语法如下： PRAGMA pra...
数据库journal_mode模式快慢真相
jwhwzzh的博客
10-30 3053
现在很多人都认为journal_mode里wal是最快的，但如果真的做过测试，就发现，没有这回事，下面是自己测的各模式的多次写大量耗时： WAL 7500 TRUNCATE 5000 MEMORY 600 OFF 500 PERSIST 4000 DELETE 8000 sqlite原生是DELETE，WAL是可以比原生SQLITE的设置快一点点，但谷歌已经在这一块做过优化了，改用上...
sqlite库——C实现，给sqlite数据库添加信息并把信息写入文件，删除日志和库中的日志信息
杰儿__er 的博客
05-30 1491
一、功能 在开机启动时候，给sqlite3数据库内，添加 ’固定’信息的运行日志； 并把日志写入[.log]文件内； 日志信息的6个字段为： 时间time、类型type、主体subject、客体object、结果result、备注remark 数据库显示为： time type subject object result ...
SQLite JDBC驱动程序来连接SQLite数据库示例
05-25
下面是一个使用SQLite JDBC驱动程序连接SQLite数据库的示例代码： ```java import java.sql.*; public class SQLiteJDBCDemo { public static void main(String[] args) { Connection connection = null; try { // 加载 SQLite JDBC驱动程序 Class.forName("org.sqlite.JDBC"); // 创建连接 connection = DriverManager.getConnection("jdbc:sqlite:test.db"); // 执行查询 Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery("SELECT * FROM users"); // 处理结果集 while (resultSet.next()) { String username = resultSet.getString("username"); String password = resultSet.getString("password"); System.out.println("Username: " + username + ", Password: " + password); } } catch (ClassNotFoundException e) { e.printStackTrace(); } catch (SQLException e) { e.printStackTrace(); } finally { // 关闭连接 try { if (connection != null) { connection.close(); } } catch (SQLException e) { e.printStackTrace(); } } } } ``` 在上面的示例中，我们加载了SQLite JDBC驱动程序，创建了一个连接，并执行了一些查询。最后，我们关闭了连接。请注意，我们使用了try-catch-finally块来确保连接在结束时被正确关闭。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值