SQLite常用性能优化配置

文章目录

        日志模式
        同步提交
        临时文件
        内存映射
        页面大小
        其他操作

SQLite 是一个嵌入式数据库引擎，通常以代码库的形式运行在其他程序中，因此我们不需要进行任何服务器配置。很多人都认为 SQLite 只能用于没有性能要求的小型数据库，但是实际情况并非如此。虽然 SQLite 只支持一个并发的写入操作，但是多个进程可以同时连接和查询相同的数据库。通过一些简单的配置和操作，我们完全可以使用 SQLite 创建 GB 级别的数据库并且支持高达每秒 10 万次的并发查询。

简单来说，优化 SQLite 性能的配置如下：

pragma journal_mode = WAL;
pragma synchronous = normal;
pragma temp_store = memory;
pragma mmap_size = 30000000000;

 
以上配置中的部分内容可以永久生效，但另一部分在每次连接时都会重置为默认值，因此推荐每次连接数据库之后都执行这些配置命令。

接下来我们具体解释一下每个参数的作用。
日志模式

pragma journal_mode = WAL;


I通过以上配置，SQLite 不再直接写入数据库文件（随机写入），而是先写入预写式日志（顺序写入）并定期提交到数据库文件。这种模式可以在写入事务进行的同时支持并发的读取操作，同时可以极大地改善性能。

注意：在某些写入压力下，WAL 模式可能存在一些问题，导致 WAL 文件无限增长，从而大大降低性能。通常是因为写入过于频繁，导致 SQLite 无法执行检查点操作。缓解这一问题的方法有几个：

    减少 wal_autocheckpoint 间隔。由于自动检查点是被动触发的操作，因此这种方法不能确保一定有效。
    定期执行 pragma wal_checkpoint(full) 或者 pragma wal_checkpoint(truncate) 命令。对于 full 方式，如果其他进程正在打开文件，WAL 大小不会发生改变，但是仍然会提交所有内容，确保新的数据不会导致 WAL 文件增长。对于 truncate 方式，SQLite 会阻塞其他进程并将 WAL 文件重置为空。我们可以通过一个单独的进程执行以上命令。

同步提交

pragma synchronous = normal;

pragma synchronous = off;

   

synchronous 的默认值为 full，意味着每个更新操作都需要等待 FSYNC 完成内存数据到磁盘文件的同步。在 WAL 模式下，normal 方式仍然是完全安全的，同时意味着只有 WAL 检查点操作需要等待 FSYNC 完成。off 可能导致数据库损坏，虽然我们极少遇到这种问题。更多信息可以参考官方文档。
临时文件

pragma temp_store = memory;



以上指令表示使用内存存储临时索引和表。SQLite 可以自动为某些查询语句创建临时索引。无法确定这种操作可以提供多少性能帮助，如果 SQLite 创建了临时索引（通过 EXPLAIN QUERY PLAN 命令查看），我们应该主动创建相应的索引。
内存映射

pragma mmap_size = 30000000000;



当数据库的大小小于 mmap_size 字节时使用内存映射替代读/写调用。操作系统管理的 syscall、页面以及缓存将会更少，此时的性能取决于使用的操作系统。注意，该设置不会使用物理内存，而是保留虚拟内存。然后，操作系统将根据常用的“磁盘缓存”逻辑决定哪些页面被逐出，哪些页面留在内存中。至少是在 Linux 上，如果为 SQLite 进程分配了足够的内存，性能将会得到明显提升。如果数据库的大小比指定的 mmap_size 更大，数据库的一部分将会使用内存映射，其他仍然使用 read() / write() 系统调用。

对于 32 位操作系统，可能只能设置小于 4 GB 的 mmap_size。

内存映射还会在出现 I/O 错误时产生影响，具体可以参考官方文档。
页面大小

pragma page_size = 32768;



对于存储大型 BLOB 数据而言，增加页面大小可以改进数据库的性能；但是对于一般的应用场景而言，这种方法可能并不适用。对于写入操作，SQLite 总是替换整个页面，因此增加页面大小会增加写入操作的开销。
其他操作

除了以上配置之外，我们还可以通过定期执行某些操作改善数据库的性能。

首先，我们可以定期重新组织数据库：
 

更多请见：http://www.mark-to-win.com/tutorial/51683.html