SQLite批量插入效率

最新推荐文章于 2024-07-27 09:21:41 发布

PengX_Seek

最新推荐文章于 2024-07-27 09:21:41 发布

阅读量8.7k

点赞数 3

分类专栏： SQLite 文章标签： sqlite c++

本文链接：https://blog.csdn.net/qq_34471028/article/details/123880667

版权

本文探讨了SQLite数据库在批量插入数据时的效率问题，通过使用事务、预编译执行和调整写同步设置来提升性能。实验表明，使用事务和预编译能显著减少插入时间，关闭写同步虽然能加速但可能牺牲安全性。

摘要由CSDN通过智能技术生成

一、循环单条数据插入

SQLite插入单条数据效率并不高，原因是：

Because it does not have a central server to coordinate access, SQLite must close and reopen the database file, and thus invalidate its cache, for each transaction. In this test, each SQL statement is a separate transaction so the database file must be opened and closed and the cache must be flushed 1000 times.

因为它没有中央服务器来协调访问，所以SQLite必须为每个事务关闭并重新打开数据库文件，从而使其缓存无效。在这个测试中，每个SQL语句都是一个独立的事务，因此必须打开和关闭数据库文件，并且必须刷新缓存1000次。

插入 1000 条数据测试：

const static char * insert_record_static = "INSERT INTO tbl_test (a, b, c) VALUES (1, 1, 1);";
// 1、循环插入 1000 条数据
t_start = clock();
for(int i = 0; i < 1000; i++)
{
    sqlite3_exec(db, insert_record_static, NULL, NULL, &err);
}
t_stop = clock();
std::cout << "Insert static 1000 cost time " << (t_stop - t_start) << " ms" << std::endl;

结果输出:

Insert static 1000 cost time 5322 ms

二、使用事务提升插入效率

使用 BEGIN 命令手动启动事务，COMMIT 命令是用于把事务调用的更改保存到数据库中的事务命令。由此可以得出，只有等到 COMMIT 命令才会执行磁盘IO的读写，事务中执行的多次插入语句，只用打开关闭一次数据库文件，极大的提升了批量插入数据的效率。

插入 100000 条数据测试：

const static char * insert_record_static = "INSERT INTO tbl_test (a, b, c) VALUES (1, 1, 1);";
sqlite3_exec(db, "begin;", 0, 0, 0);
t_start = clock();
for(int i = 0; i < 100000; i++)
{
    sqlite3_exec(db, insert_record_static, 0, 0, &err);
}
sqlite3_exec(db, "commit;", 0, 0, 0);
t_stop = clock();
std::cout << "Insert static 100000 cost time " << (t_stop - t_start) << " ms" << std::endl;

结果输出:

Insert static 1000 cost time 1588 ms