Sqlite Journal模式

于 2025-03-22 14:00:46 发布
阅读量580 收藏 10
点赞数 8
文章标签： sqlite
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xujun3132008/article/details/145480572
版权

概述

journal功能属于Pager模块的子模块，用于事务的回滚。

概念

Journal模式

第一个事务开始时，会创建一个journal文件。

  1. journal = DELETE时，每次提交事务后，SQLite会删除journal文件。
  2. journal = TRUNCATE，每次提交事务后，SQLite会将journal文件截断为零长度，但保留文件。
  3. journal = PERSIST‌, 每次提交事务后，SQLite会将journal文件保留并重用以加快写入性能。这适用于需要频繁提交事务的场景。
  4. journal = MEMORY‌,不会写入journal文件，所有事务直接写入数据库文件。
  5. journal = WAL, SQLite会生成一个“-wal”文件和一个“-shm”文件（共享内存文件）。这种模式可以提高写入性能，并允许读操作与写操作并发执行。
  6. journal = OFF, 关闭回滚日志，事务中断，可能导致数据库不一致。
    写入回滚日志的页面与事务开始时数据库中的内容完全一致

super-journal文件

在SQLite中，当使用attach命令操作多个数据库时，为了保持这些数据库之间的一致性，SQLite会创建一个super-journal文件。这个文件并不会包含页数据，而是包含每个数据库的日志文件的名称。每个数据库的日志文件同时也会包含该super-journal文件的名称。这样，在需要回滚时，SQLite可以根据super-journal文件中的信息，找到所有相关的日志文件，并进行相应的回滚操作，以确保所有数据库的一致性‌。
super-journal 的文件格式：
db1的 journal 文件名 | db2的 journal 文件名 | db3的 journal 文件名 | db4的 journal 文件名 | …

hot-journal

在事务未完全提交时保留的日志文件，用于崩溃恢复后回滚未完成的事务。

finalize journal

个人翻译为删除Journal日志，事实上是根据journal模式对journal文件进行删除或者截断、清零操作。事务提交或者回滚后，需要将Undo日志删除，防止下一次读到Undo日志，将已经完成或回滚的事务回滚。

Journal文件格式

Journal日志头格式
MagicNum | 记录条数 | 随机值 | db文件大小 | 扇区大小 | 页大小
8字节 | 4 字节 | 4字节 | 4字节 | 4字节 | 4字节

数据页的journal日志格式
PgNo | pageData | checkSum
4字节 | pageSize | 4 字节

super-journal文件信息格式
lckPgno | super-journal 文件名 | 文件名长度 | cksum | magicNum
4 | len | 4 | 4 | 8

Journal文件格式：
Journal日志头 | Journal日志 | Journal 日志 | … | Journal日志头 | Journal日志 | …|super-journal文件信息（如果有的话）|
| 事务的完整Journal日志 |

sub-journal 文件格式
pgNo | pageData | pgNo | pageData | …
4 pageSize

super-journal 文件格式
journal文件名1 | \0 | journal文件名2 | \0 | …

接口

pagerAddPageToRollbackJournal

int pagerAddPageToRollbackJournal(PgHdr *pPg);

作用：数据页的内容按照journal日志格式写入journal文件

writeJournalHdr

int writeJournalHdr(Pager *pPager)

作用：写入Journal文件头

readJournalHdr

int readJournalHdr(Pager *pPager,  int isHot, i64 journalSize, u32 *pNRec, u32 *pDbSize)

作用：从Journal中读取Journal头信息。

参数含义
pPagerPager上下文。
isHot是否是hot-journal
journalSizejournal文件大小
pNRec当前事务的journal日志条数
pDbSize当前事务的journal日志中页的大小

syncJournal

int syncJournal(Pager *pPager, int newHdr)

writeSuperJournal

int writeSuperJournal(Pager *pPager, const char *zSuper)

作用：向journal文件尾写入super-journal文件名信息

参数含义
pPagerPager上下文。
zSupersuper -journal文件名
提交的一阶段在sync journal之前写入。

readSuperJournal

int readSuperJournal(sqlite3_file *pJrnl, char *zSuper, u32 nSuper)

作用：从journal文件尾读取super-journal文件名信息

参数含义
pPagerPager上下文。
zSuper输出，super -journal文件名
nSuperzSuper的长度

subjournalPageIfRequired

int subjournalPageIfRequired(PgHdr *pPg)

作用：只要有一个还原点没有写过pg，就将页内容写入sub-journal文件

pager_delsuper

int pager_delsuper(Pager *pPager, const char *zSuper)

作用：当多个数据库的事务都被回滚时，删除super-journal文件

sqlite journal恢复数据_误删不跑路，大牛运维神技能分分钟恢复
weixin_39710660的博客
11-28 615
一、背景突发事件，应用上传的数据被程序自动删掉了，可悲的是还没有数据备份，数据是放在系统的 /data/webapps/xxxx/upload 目录下面，可把我们急坏了，之前又没有做过数据恢复的测试，然后我找到了一款数据恢复的软件，成功把删除的大部分数据找回来了，我的数据恢复过程如下。二、安装恢复软件1、epel 仓库安装如果我们的源里面添加了 epel 仓库的话，我们可以直接使用下面的命令安装。...
Android 9.0 关于SQLite数据库的变化 （journal WAL）
soulfire的博客
07-27 2750
在默认情况下 SQLite 的事务原子提交和回滚使用的是 rollback journal 模式。但是在 3.7.0 版本（Android 9.0）中 SQLite 引入了一种新的日志模式 Write-Ahead Log （常简写为 WAL ）。 一些app在android9.0使用数据库时出现错误可以看看是不是这里的问题。 工作原理 默认的 rollback journal 模式工作原理大...
一篇不错的sqlite学习日志
12-13
一篇不错的sqlite学习日志一篇不错的sqlite学习日志
android sqlite *.db-journal
mihenyinghua的专栏
11-13 1万+
这两天由于项目需要开始使用sqlite数据库，可是在操作过程中，在databases文件下生成*.db的同时总会对应生成一个*.db-journal。刚开始在网上查找原因，网上有人说是数据库操作错误时生成的日志，可是再怎么仔细检查，都发现我对数据库的操作都是正确的，不会有异常，而且*.db-journal文件的大小一直是0.           后来看了下sqlite的官方文档，发现该文件是sq
sqlite中的journal
小屋
07-05 6566
journal 主要用途是，当事务要修改page时，先把未修改的page存入journal中，如果事务rollback时，就从journal中得到修改前的数据，覆盖已改的，达到事务的一致性。journal是一个不同于数据库文件的另一个文件，它在事务开始时创建，当事务结束时就删除了The format for the journal header is as follows:- 8 bytes: Magic identifying journal format.- 4 bytes: Number of rec
关于sqlite中的journal文件
I like coding的专栏
03-14 2973
SQLite by default creates the journal file at the start of a transaction, which is a good thing. Normally it deletes the file upon commit. You can change this behavior to simply truncate the file (no
sqlite3 journal
学习是为了探索这个世界的本质
08-21 6836
sqlite3默认会开启journal，为了进行rollback。但是在断电突然断电的情况下，journal文件很容易就损坏了。 目前还没有发现数据库文件本身被损坏的情况。 一旦journal文件损坏，就没法打开数据库文件了。但是可以把journal机制关闭。 一旦journal文件损坏，还会造成文件系统损坏，journal文件都无法删除掉。 对journal文件所在目录进行l
SQLite WAL 机制探索
Hello World
02-16 2337
Checkpoint 是 SQLite 数据库中一个重要的机制，它用于将 WAL（Write-Ahead Logging）文件中的数据同步到数据库文件中。在 SQLite 数据库的 WAL 模式下，所有的写入操作都会首先写入到 WAL 文件中，然后再更新数据库文件。因此，在 WAL 模式下，WAL 文件中的数据和数据库文件中的数据是不一致的。Checkpoint 机制的作用就是将 WAL 文件中的数据同步到数据库文件中，以保证数据的一致性。
SQLite中的原子提交（四）
最新发布
03-26 2606
返回：SQLite—系列文章目录 上一篇：SQLiteC/C++接口详细介绍sqlite3_stmt类（十三） 下一篇：SQLite使用的临时文件（二） 1.引言 SQLite等事务数据库的一个重要特性 是“原子提交”。 原子提交意味着所有数据库都在一个数据库中更改 事务发生或均未发生。通过原子提交，它 就好像对数据库的不同部分有许多不同的写入 文件瞬间同时发生。 真正的硬件将写入序列化为大容量存储，并将写入 单个扇区需要有限的时间。 因此，不可能真正写出一个 数据库文件同时和/或瞬时
WAL模式 Android,SQLite 数据库 WAL 工作模式原理简介
weixin_29382705的博客
06-02 550
闪存对象序列化系列数据序列化系列(待更)《Android 数据序列化之 JSON》《Android 数据序列化之 Protocol Buffer 使用》《Android 数据序列化之 Protocol Buffer 源码分析》SQLite 存储系列SQLite WAL 模式工作原理分析什么是 WALWAL 的全称是 Write Ahead Logging(预写日志)，它是很多数据库中用于实现原子事...
Android SQLite -journal、-wal、-shm
知用改创
10-03 6678
Android SQlite -journal、-wal、-shm 在创建数据库时，不仅会生成xxx.db数据库文件，而且还会生成xxx.db-journal。这个-journal文件是用来干嘛的？其实这个文件是sqlite用来实现原子提交和回滚功能的。如果没有这个文件，SQlite将无法回滚未完成的事务，如果在事务中间发生崩溃或者掉电，那么整个数据库就有可能损坏。 -journal——回滚日志 ...
[SQLite]浅析其二——SQLite数据库的日志
Ryan ZHENG的专栏
09-17 7134
文章目录SQLite数据库的日志日志的分类传统日志模式读取数据流程写入数据流程日志回滚流程WAL日志模式读取数据流程写入数据流程异常恢复流程 SQLite数据库的日志 SQLite数据存储是孤本数据，在写入时异常中断（断电，坏块等），会导致数据库文件结构损坏，造成数据丢失。 因此日志的存在就非常必要，在官网的介绍中指出，SQLite支持通过PRAGMA journal_mode=?的形式设置日志模式，而当前支持的日志模式有如下几种： DELETE TRUNCATE PERSIST MEMORY WAL O
sqlite journal恢复数据_sqlite 性能优化
weixin_39966225的博客
12-17 720
测试环境CPU：Inter(R) Core(TIM) i3-2120 CPU@3.3GHz内存：8GB操作系统：Deepin显示调用事务利用事务的互斥性，在批量操作时显示开启事务，操作结束后提交事务，那么所有操作将只执行一次事务，大大提高IO效率。sqlite3_exec(db,"BEGIN;",0,0,NULL);for(i=0;i10000;i++){.....
sqlite journal恢复数据_常用的SQLite命令
weixin_39598568的博客
12-17 333
显示表结构：sqlite> .schema [table]获取所有表和视图：sqlite > .tables获取指定表的索引列表：sqlite > .indices [table ]导出数据库到 SQL 文件：sqlite > .output [filename ]sqlite > .dumpsqlite > .output stdout从 SQL 文件导入数据...
[sqlite] db-journal文件产生原因及说明
热门推荐
Boffi
05-24 3万+
ref:  今天在android中将sqlite的数据库文件生成在SD卡上的过程中，发现生成的.db文件的旁边生成了一个大小为0的与数据库文件同名的.db-journal文件，不明白此文件的用途，于是 google了sqlite的官方文档，发现该文件的用途如下： 该文件是sqlite的一个临时的日志文件，主要用于sqlite事务回滚机制，在事务开始时产生， 在事务结
HBase（三）HBase架构与工作原理
weixin_42073629的博客
10-05 806
一、系统架构 注意：应该是每一个 RegionServer 就只有一个 HLog，而不是一个 Region 有一个 HLog。 从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，接下来介绍他们的作用。 1、Client 1、HBase 有两张特殊表： .META.：记录了用户所有表拆分出来的的 Region 映射...
sqlite数据库自动生成db-journal后缀文件的解决方法
marko39的专栏
03-31 3855
1、使用sqlite数据库时发现，目录中自动生成db-journal后缀文件， 同时新数据没有写入db，重启软件后新数据就丢失了。 2、经排查是使用的jar驱动版本太旧了，需要将驱动包更新为sqlite-jdbc-3.7.2.jar及以上版本。 3、经过一段时间的验证，问题已解决。 ...
关闭SQLite3中的journal暂存档
weixin_41167925的博客
05-23 1846
相信很多使用SQLite3当做数据库的人都会一个现象，那就是当SQLite3有做写入的动作时，SQLite3会自动产生一个名为"数据库名称-journal"的暂存档。这是做什么用的呢? 答案是用来Rollback ，换句话说，就是当数据写入数据库有失败动作时，透过journal档案予以复原到未更动前(原始)数据，来确保数据完整与一致性。如果在每次写入的时间很长或频繁的进行数据库写入情况下，因系统(主机)电力不稳或突然断电时，那么下次重新启动，而journal档案若存在，则在开启SQLite数据库时，若发现有
sqlite的wal模式
06-05
SQLite的WAL模式（Write-Ahead Logging mode）是一种优化数据库写入性能的方式。在默认的journal模式下，每次数据写入需要写入磁盘，导致写入速度较慢。而WAL模式则是将写入操作记录在一个称为WAL文件的日志文件中，同时在内存中维护一个数据副本，这样可以大大提高写入性能。 在WAL模式下，读取操作会优先从内存中的数据副本中读取，如果数据副本中不存在，则会从WAL文件中查找数据。在WAL文件中，每个写入操作都会记录一条日志，这些日志会被周期性地合并到主数据库文件中，从而保证数据的完整性。如果在写入过程中出现故障，可以通过WAL文件中的日志来恢复数据。 需要注意的是，WAL模式只适用于多并发写入的场景，如果只有单个写入进程，journal模式可能会更快。同时，WAL模式需要额外的存储空间用于WAL文件，需要根据实际情况进行配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值