SQLite的WAL机制

转载 2015年07月08日 17:43:39

转自:http://www.cnblogs.com/frydsh/archive/2013/04/13/3018666.html

SQLite的WAL机制

      1.什么是WAL?

      WAL的全称是Write Ahead Logging,它是很多数据库中用于实现原子事务的一种机制,SQLite在3.7.0版本引入了该特性。

      2.WAL如何工作?

      在引入WAL机制之前,SQLite使用rollback journal机制实现原子事务。

      rollback journal机制的原理是:在修改数据库文件中的数据之前,先将修改所在分页中的数据备份在另外一个地方,然后才将修改写入到数据库文件中;如果事务失败,则将备份数据拷贝回来,撤销修改;如果事务成功,则删除备份数据,提交修改。

      WAL机制的原理是:修改并不直接写入到数据库文件中,而是写入到另外一个称为WAL的文件中;如果事务失败,WAL中的记录会被忽略,撤销修改;如果事务成功,它将在随后的某个时间被写回到数据库文件中,提交修改。

      同步WAL文件和数据库文件的行为被称为checkpoint(检查点),它由SQLite自动执行,默认是在WAL文件积累到1000页修改的时候;当然,在适当的时候,也可以手动执行checkpoint,SQLite提供了相关的接口。执行checkpoint之后,WAL文件会被清空。

      在读的时候,SQLite将在WAL文件中搜索,找到最后一个写入点,记住它,并忽略在此之后的写入点(这保证了读写和读读可以并行执行);随后,它确定所要读的数据所在页是否在WAL文件中,如果在,则读WAL文件中的数据,如果不在,则直接读数据库文件中的数据。

      在写的时候,SQLite将之写入到WAL文件中即可,但是必须保证独占写入,因此写写之间不能并行执行。

      WAL在实现的过程中,使用了共享内存技术,因此,所有的读写进程必须在同一个机器上,否则,无法保证数据一致性。

      3.WAL的优点与缺点

      优点:

      1.读和写可以完全地并发执行,不会互相阻塞(但是写之间仍然不能并发)。

      2.WAL在大多数情况下,拥有更好的性能(因为无需每次写入时都要写两个文件)。

      3.磁盘I/O行为更容易被预测。

      缺点:

      1.访问数据库的所有程序必须在同一主机上,且支持共享内存技术。

      2.每个数据库现在对应3个文件:<yourdb>.db,<yourdb>-wal,<yourdb>-shm。

      3.当写入数据达到GB级的时候,数据库性能将下降。

      4.3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。

      4.WAL引入的兼容性问题

      在启用了WAL之后,数据库文件格式的版本号由1升级到了2,因此,3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。

      禁用WAL会使数据库文件格式的版本号恢复到1,从而可以被SQLite 3.7.0之前的版本识别。

      5.WAL引入的性能问题

      在一般情况下,WAL会提高SQLite的事务性能;但是在某些极端情况下,却会导致SQLite事务性能的下降。

      1.在事务执行时间较长或者要修改的数据量达到GB级的时候,WAL文件会被占用,它会暂时阻止checkpoint的执行(checkpoint会清空WAL文件),这将导致WAL文件变得很大,增加寻址时间,最终导致读写性能的下降。

      2.当checkpoint执行的时候,会降低当时的读写性能,因此,WAL可能会导致周期性的性能下降。

      6.与WAL相关的PRAGMA和接口

      PRAGMA journal_mode

      PRAGMA wal_checkpoint

      PRAGMA wal_autocheckpoint

      sqlite3_wal_checkpoint

      sqlite3_wal_autocheckpoint

      sqlite3_wal_hook

WAL机制

  • china_demon
  • china_demon
  • 2016年06月28日 21:36
  • 1020

sqlite 怎么开启wal机制

sqlite 怎么开启wal机制? LOG_EXEC_SQL_ERR(query, "PRAGMA journal_mode=WAL"); // 开启多线程并发模式;...
  • wql2rainbow
  • wql2rainbow
  • 2017年06月23日 17:06
  • 789

SQLite分析之WAL机制

对SQLite的WAL机制的分析
  • u012891242
  • u012891242
  • 2016年04月02日 18:02
  • 3391

Sqlite学习笔记(四)&&SQLite-WAL原理 Write ahead logging

Sqlite学习笔记(四)&&SQLite-WAL原理(转) 2015-08-24 21:55 by 沧海一滴, 90 阅读, 0 评论, 收藏, 编辑 Sqlite学习笔记(...
  • linuxheik
  • linuxheik
  • 2016年09月29日 15:45
  • 320

Android使用SQLITE3 WAL模式

http://blog.csdn.net/degwei/article/details/9708339 sqlite是支持write ahead logging(WAL)模式的,开启WAL模...
  • baidu_26352053
  • baidu_26352053
  • 2016年12月12日 09:56
  • 454

SQLite3使用总结备忘(多线程/WAL/锁等)

1、多线程下使用    rc = sqlite3_open_v2(DBFILENAME, &db, SQLITE_OPEN_READWRITE | SQLITE_OPEN_FULLMUTEX, NUL...
  • vannachen
  • vannachen
  • 2012年12月10日 12:29
  • 10852

SQLite的WAL机制

1.什么是WAL?       WAL的全称是Write Ahead Logging,它是很多数据库中用于实现原子事务的一种机制,SQLite在3.7.0版本引入了该特性。       2...
  • hmxiao_1983
  • hmxiao_1983
  • 2013年12月30日 17:18
  • 507

iOS开发之SQLite安全问题解析之SQLite的锁机制和WAL技术

锁机制 SQLite基于锁来实现并发控制。SQLite的锁是粗粒度的,并不拥有PostgreSQL那样细粒度的行锁,这也使得SQLite较为轻量级。当一个连接要写数据库时,所有其它的连接都被锁住,直...
  • zhonggaorong
  • zhonggaorong
  • 2016年08月11日 09:41
  • 1279

sqlite发生错误时候多了 xxx.db-shm xxx.db-wal文件

sqlite发生错误时候多了 xxx.db-shm xxx.db-wal文件
  • zhjp4295216
  • zhjp4295216
  • 2011年02月22日 20:14
  • 3528

多线程操作数据库--WAL模式--一写多读并行

最近项目需求,要写入比较多的数据到db中,同时又不能让用户在写的过程中停止其他查询操作,也就是需要满足写读并发。通过一阵Google,发现了WAL模式。 下面介绍WAL模式的优缺点: 优点: ...
  • u011484134
  • u011484134
  • 2016年05月29日 13:15
  • 905
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SQLite的WAL机制
举报原因:
原因补充:

(最多只允许输入30个字)