sqlite 怎么开启wal机制

最新推荐文章于 2023-07-27 10:41:34 发布

sxywu520

最新推荐文章于 2023-07-27 10:41:34 发布

阅读量1.2w

点赞数 3

分类专栏： c++笔记文章标签：开启wal机制

c++笔记专栏收录该内容

20 篇文章 0 订阅

订阅专栏

Sqlite在多线程下的使用方法及注意的事项

一Sqlite的三种模式

1. 单线程，这种模式下，没有进行互斥，多线程使用不安全

2. 多线程，这种模式下，在多线程中使用单个数据库连接是不安全的，否则就是安全的。也就是不能再多个线程中共享数据库连接

3. 串行，这种模式下，sqlite是线程安全的。可以在多个线程中不加互斥的使用同一个数据库连接

数据库使用经验：线程模式可以在编译时（通过源码编译sqlite库时）、启动时（使用sqlite的应用程序初始化时）或者运行时（创建数据库连接时）来指定。一般而言，运行时指定的模式将覆盖启动时的指定模式，启动时指定的模式将覆盖编译时指定的模式。但是，单线程模式一旦被指定，将无法被覆盖。所以我们在创建数据库的时候，就一定要考虑好数据库使用的模式。

二Is Sqlite3 thread-safe?

答案当然是肯定的。不过要确保线程安全需要（注意事项）

1. 确保编译时使用：DTHREADSAFE = 1

2. 不要在多个线程中共享数据库链接

3. 在一些操作系统中，一个线程中只能创建并使用一个数据库连接（建议使用者在所有操作系统的使用上都坚持此项原则）

4. Sqlite有一小部分功能（PRAGMAtemp_store_directory等等）是线程不安全的，多线程中应当避免使用

三读写不阻塞的Sqlite-Wal模式

3.1 wal工作原理

在引入WAL机制之前，SQLite使用rollbackjournal机制实现原子事务。

rollback journal机制的原理是：在修改数据库文件中的数据之前，先将修改所在分页中的数据备份在另外一个地方，然后才将修改写入到数据库文件中；如果事务失败，则将备份数据拷贝回来，撤销修改；如果事务成功，则删除备份数据，提交修改。

WAL机制的原理是：修改并不直接写入到数据库文件中，而是写入到另外一个称为WAL的文件中；如果事务失败，WAL中的记录会被忽略，撤销修改；如果事务成功，它将在随后的某个时间被写回到数据库文件中，提交修改。

3.2 wal优点：

1. 读和写可以完全地并发执行，不会互相阻塞（但是写之间仍然不能并发）。

2. WAL在大多数情况下，拥有更好的性能（因为无需每次写入时都要写两个文件）。

3. 磁盘I/O行为更容易被预测。

3.3 wal缺点：

1. 访问数据库的所有程序必须在同一主机上，且支持共享内存技术。

2. 每个数据库现在对应3个文件：<yourdb>.db，<yourdb>-wal，<yourdb>-shm。

3. 当写入数据达到GB级的时候，数据库性能将下降。

4. 3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。

3.4 wal如何记录数据--checkpoint

使用WAL模式时，改写操作是附加（append）到WAL文件，而不改动数据库文件，因此数据库文件可以被同时读取。当执行checkpoint操作时，WAL文件的内容会被写回数据库文件。当WAL文件达到SQLITE_DEFAULT_WAL_AUTOCHECKPOINT（默认值是1000）页（默认大小是1KB）时，会自动使用当前COMMIT的线程来执行checkpoint操作。也可以关闭自动checkpoint，改为手动定期checkpoint。

为了避免读取的数据不一致，查询时也需要读取WAL文件，并记录一个结尾标记（end mark）。这样的代价就是读取会变得稍慢，但是写入会变快很多。要提高查询性能的话，可以减小WAL文件的大小，但写入性能也会降低。需要注意的是，低版本的SQLite不能读取高版本的SQLite生成的WAL文件，但是数据库文件是通用的。这种情况在用户进行iOS降级时可能会出现，可以把模式改成delete，再改回WAL来修复。

要对一个数据库连接启用WAL模式，需要执行“PRAGMA journal_mode=WAL;”这条命令，它的默认值是“journal_mode=DELETE”。执行后会返回新的journal_mode字符串值，即成功时为"wal"，失败时为之前的模式（例如"delete"）。一旦启用WAL模式后，数据库会保持这个模式，这样下次打开数据库时仍然是 WAL模式。要停止自动checkpoint，可以使用wal_autocheckpoint指令或sqlite3_wal_checkpoint()函数。手动执行 checkpoint可以使用wal_checkpoint指令或sqlite3_wal_checkpoint()函数。

四．Wal在c++代码中的应用

    int DataSource::InitDataBaseToWal(std::string sPath, bool isWal)
    {
        char* zErrMsg;

        sqlite3* db = NULL;

        int rc = sqlite3_open_v2(sPath.c_str(), &db, SQLITE_OPEN_READWRITE | SQLITE_OPEN_FULLMUTEX, NULL);

        if (rc != SQLITE_OK)
        {
            Logger::LogD("DataSource::sqlite [%s] or [%s] open failed", sPath.c_str(), sqlite3_errmsg(db));
            Logger::LogO("DataSource::sqlite [%s] or [%s] open failed", sPath.c_str(), sqlite3_errmsg(db));

            sqlite3_close(db);

            return -1;
        }

	    if(isWal == true)
	    {
		    rc = sqlite3_exec(db, "PRAGMA journal_mode=WAL;", NULL, 0, &zErrMsg);

		    if (rc != SQLITE_OK)
		    {
			    sqlite3_free(zErrMsg);

			    sqlite3_close(db);

			    return -1;
		    }

		    rc = sqlite3_exec(db, "PRAGMA wal_autocheckpoint=100;", NULL, 0, &zErrMsg);

		    if (rc != SQLITE_OK)
		    {
			    sqlite3_free(zErrMsg);

			    sqlite3_close(db);

			    return -1;
		    }
	    }
	    else
	    {
		    rc = sqlite3_exec(db, "PRAGMA journal_mode=DELETE;", NULL, 0, &zErrMsg);

                   if (rc != SQLITE_OK)
	           {
		        sqlite3_free(zErrMsg);

		        sqlite3_close(db);

		         return -1;
	          }
            }

	    return true;
      }

说明：当isWal为true时，启动wal模式，isWal为false时，关闭wal模式。当你看到这里的时候，对sqlite的wal模式一定有了一定的了解，为了让你更加相信wal模式的利好，作者告诉你一个秘密，就是作者同时开启5个线程（3读2写）进行了测试，未见异常。

调整checkpoint默认页值，性能也基本能满足需求。