sqlite性能调优笔记

1.mmap

import sqlite3
cursor = sqlite3.connect(comment_db).cursor()
cursor.execute('PRAGMA mmap_size=4294967296')

数据库读取和写入的过程,数据要从磁盘拷贝到内核空间,然后拷贝到用户空间,sqlite3提供mmap机制,直接从磁盘拷贝到用户空间,节省了磁盘到内核空间的IO开销。
2.synchronous

cursor.execute("PRAGMA synchronous=OFF")

synronous参数有full,normal,off三种选择。
当synchronous设置为FULL
SQLite数据库引擎在紧急时刻会暂停以确定 数据已经写入磁盘。这使系统崩溃或电源出问题时能确保数据库在重起后不会损坏。FULL synchronous很安全但很慢。 在SQLite 3中修改为FULL。

当synchronous设置为NORMAL
SQLite数据库引擎在大部分紧急时刻会暂停,但不像FULL模式下那么频繁。 NORMAL模式下有很小的几率(但不是不存在)发生电源故障导致数据库损坏的情况。但实际上,在这种情况 下很可能你的硬盘已经不能使用,或者发生了其他的不可恢复的硬件错误。在SQLite 2中,缺省值为NORMAL.

设置为synchronous OFF
SQLite在传递数据给系统以后直接继续而不暂停。若运行SQLite的应用程序崩溃, 数据不会损伤,但在系统崩溃或写入数据时意外断电的情况下数据库可能会损坏。另一方面,在synchronous OFF时 一些操作可能会快50倍甚至更多。

数据安全性不高的场景,可以考虑更改 syncchronous = off 的模式;(写数据的速度50倍+的提升)
数据安全性较高的场景,可以考虑更改 syncchronous = nomal 的模式;(写数据的性能也有5倍+的提升)

synchronous详情请见:
原文:https://blog.csdn.net/bravegogo/article/details/53517610

以下是几种SQLite性能优化的方法: 1.使用事务:将多个操作放在一个事务中,可以减少磁盘I/O操作,从而提高性能。例如,在插入大量数据时,可以使用BEGIN和COMMIT语句将它们包装在一个事务中。 ```cpp sqlite3_exec(db, "BEGIN;", 0, 0, 0); // 执行多个插入操作 sqlite3_exec(db, "COMMIT;", 0, 0, 0); ``` 2.使用预处理语句:预处理语句可以将SQL语句编译成字节码,然后多次执行,避免了每次执行时都需要重新编译的开销。例如,在插入大量数据时,可以使用sqlite3_prepare_v2函数编译SQL语句,然后使用sqlite3_bind_*函数绑定参数,最后使用sqlite3_step函数执行。 ```cpp sqlite3_stmt *stmt; const char *sql = "INSERT INTO t1 VALUES (?, ?, ?)"; sqlite3_prepare_v2(db, sql, strlen(sql), &stmt, 0); for (int i = 0; i < nCount; ++i) { sqlite3_reset(stmt); sqlite3_bind_int(stmt, 1, i); sqlite3_bind_int(stmt, 2, i * 2); sqlite3_bind_int(stmt, 3, i / 2); sqlite3_step(stmt); } sqlite3_finalize(stmt); ``` 3.使用索引:索引可以加速查询操作。在创建表时,可以使用CREATE INDEX语句创建索引。 ```cpp const char *sql = "CREATE INDEX idx_t1_col1 ON t1(col1)"; sqlite3_exec(db, sql, 0, 0, 0); ``` 4.使用内存数据库:内存数据库可以将数据存储在内存中,避免了磁盘I/O操作,从而提高性能。在打开数据库时,可以使用特殊的文件名“:memory:”来创建内存数据库。 ```cpp sqlite3_open(":memory:", &db); ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值