SQLite数据库总结

参考网址：https://www.cnblogs.com/stephen-liu74/archive/2012/02/29/2328348.html

3种工作模式：

1、SQLite完全内存数据库

在SQLite中，数据库通常是存储在磁盘文件中的。然而在有些情况下，我们可以让数据库始终驻留在内存中。最常用的一种方式是在调用sqlite3_open()的时候，数据库文件名参数传递":memory:"，如：
    rc = sqlite3_open(":memory:", &db);

在调用完以上函数后，不会有任何磁盘文件被生成，取而代之的是，一个新的数据库在纯内存中被成功创建了。由于没有持久化，该数据库在当前数据库连接被关闭后就会立刻消失。

2、SQLite 临时数据库 内存 + 文件

在调用sqlite3_open()函数或执行ATTACH命令时，如果数据库文件参数传的是空字符串，那么一个新的临时文件将被创建作为临时数据库的底层文件，如：
    rc = sqlite3_open("", &db);
    或
    ATTACH DATABASE '' AS aux2; 
    和内存数据库非常相似，两个数据库连接创建的临时数据库也是各自独立的，在连接关闭后，临时数据库将自动消失，其底层文件也将被自动删除。
    尽管磁盘文件被创建用于存储临时数据库中的数据信息，但是实际上临时数据库也会和内存数据库一样通常驻留在内存中，唯一不同的是，当临时数据库中数据量过大时，SQLite为了保证有更多的内存可用于其它操作，因此会将临时数据库中的部分数据写到磁盘文件中，而内存数据库则始终会将数据存放在内存中。

参考网址：https://blog.csdn.net/lijinqi1987/article/details/51672711

3、内存数据库定时同步到文件数据库

     1、创建文件数据库；

     2、创建内存数据库（文件数据库、内存数据库的内幕表结构需要一致）；

     3、在内存数据库中attach文件数据库，这样可以保证文件数据库中的内容在内存数据库中可见；

     4、对于insert、select操作，在内存数据库中完成，对于delete、update操作，需要同时访问内存、文件数据库；

     5、定时将内存数据库中的内容flush到文件数据库。

 

特点汇总：

1、SQLite 没有一个单独的用于存储日期和/或时间的存储类，但 SQLite 能够把日期和时间存储为 TEXT、REAL 或 INTEGER 值。

2、允许多线程同时读，只允许一个线程同时修改（写或删除）。

3、数据库大小没有限制。

 

优化方法：

1、关闭写同步（对内存模式效果甚微）；

2、设置WAL模式，向前写入日志，避免多线程访问时锁定数据库；

3、缓存、页配置，Cache Size=8000（默认值是2000），page_size = 32768，提升性能

4、批量提交时加事务，不用每次提交都加事务

这一项优化性能会有很大改进。

sqlite3_exec(db,"begin",NULL,NULL,NULL);//显示开启事务

执行大量语句。。。

sqlite3_exec(db,"commit",NULL,NULL,NULL); //批量提交

5、预编译语句

这一项优化性能会有很大改进。

sqlite3_stmt *stmt;

const char *insertsql = "insert into table values(?,?,?,?)";

sqlite3_prepare_v2(db,insertsql,strlen(insertsql),&stmt,NULL);

for()

{

sqlite3_bind_xxx();

}

sqlite3_finalize(stmt);

 

吞吐实测：

单机本地，x86_64，完全内存模式，上面优化都开启，表结构为（char(46) int int int int blob(2000)）

写入速度：3w次/s，写入吞吐43.5MB/s，优化空间不大。

如果是那种最简单的表结构如4个int写入，写入速度可达到80w次/s。

这个速度在关系型数据库中已经算是比较高的了，如果还需要更高的，则在硬件配置和架构上需要有所考虑。

 

sqlite3优化之路

显示开启事务——写同步关闭——写准备

数据库分库分表

 

没有其它嵌入式的SQL数据库引擎能象SQLite这样处理如此多的并发。SQLite允许多个进程同时打开一个数据库，同时读一个数据库。当有任何进程想要写时，它必须在更新过程中锁住数据库文件。但那通常只是几毫秒的时间。其它进程只需等待写进程干完活结束。典型地，其它嵌入式的SQL数据库引擎同时只允许一个进程连接到数据库。

 

Client/Server数据库引擎（如PostgreSQL, MySQL,或Oracle）通常支持更高级别的并发，并且允许多个进程同时写同一个数据库。这种机制在Client/Server结构的数据库上是可能 的，因为总是有一个单一的服务器进程很好地控制、协调对数据库的访问。如果你的应用程序需要很多的并发，那么你应该考虑使用一个Client/Server结构的数据库。但经验表明，很多应用程序需要的并发，往往比其设计者所想象的少得多。

 

SQLite版本3.0则对单个记录容量没有限制。表名、索引表名、视图名、触发器名和字段名没有长度限制。

limit xx offset yyy；支持分页

 

SQLite插入数据效率最快的方式就是：显示开启事务+关闭写同步+执行准备（存储过程），如果对数据库安全性有要求的话，就开启写同步。

几十万条/s的写入速度

读写分离，避免并发

vaccum（整理会很慢，不整理会越来越大，插入慢）

150MB/s吞吐，15w iops

 

数据库ACID和零配置

memory:模式和mmap是单独的两种模式

SQLite 对 SQL92 标准的支持包括索引、限制、触发和查看

支持数据库大小扩展至2TB

核心查找算法：B/B+树

核心架构：VDBE 虚拟数据库引擎(virtual database engine)，类似Java虚拟机，跨平台，执行编译过的SQL指令（调用B树的相关接口）

 

count(*) count(0) count(1)