架构(architecture)
SQLite采用了模块的设计，它由三个子系统，包括8个独立的模块构成。
1.接口(Interface)
接口由SQLite C API组成，也就是说不管是程序、脚本语言还是库文件，最终都是通过它与SQLite交互的(我们通常用得较多的ODBC/JDBC最后也会转化为相应C API的调用)。
2.编译器(Compiler)
在编译器中，分词器（Tokenizer）和分析器(Parser)对SQL进行语法检查，然后把它转化为底层能更方便处理的分层的数据结构---语法树，然后把语法树传给代码生成器(code generator)进行处理。而代码生成器根据它生成一种针对SQLite的汇编代码，最后由虚拟机(Virtual Machine)执行。
3.虚拟机(Virtual Machine)
架构中最核心的部分是虚拟机，或者叫做虚拟数据库引擎(Virtual Database Engine,VDBE)。它和Java虚拟机相似，解释执行字节代码。VDBE的字节代码由128个操作码(opcodes)构成，它们主要集中在数据库操作。它的每一条指令都用来完成特定的数据库操作(比如打开一个表的游标)或者为这些操作栈空间的准备(比如压入参数)。总之，所有的这些指令都是为了满足SQL命令的要求(关于VM，后面会做详细介绍)。
4.后端(Back-End)
后端由B-树(B-tree)，页缓存(page cache，pager)和操作系统接口(即系统调用)构成。B-tree和page cache共同对数据进行管理。B-tree的主要功能就是索引，它维护着各个页面之间的复杂的关系，便于快速找到所需数据。而pager的主要作用就是通过OS接口在B-tree和Disk之间传递页面。
SQLite的体系结构
下图是一个体系结构图，显示了SQLite的主要组件以及各组件之间是如何相互关联的。
在内部，SQLite由以下几个组件组成：内核、SQL编译器、后端以及附件。SQLite通过利用虚拟机和虚拟数据库引擎（VDBE），使调试、修改和扩展SQLite的内核变得更加方便。所有SQL语句都被编译成易读的、可以在SQLite虚拟机中执行的程序集。SQLite支持大小高达2 TB的数据库，每个数据库完全存储在单个磁盘文件中。这些磁盘文件可以在不同字节顺序的计算机之间移动。这些数据以B+树（B+tree）数据结构的形式存储在磁盘上。SQLite根据该文件系统获得其数据库权限。
1、公共接口（Interface）
SQLite库的大部分公共接口由main.c, legacy.c和vdbeapi.c源文件中的函数来实现，这些函数依赖于分散在其他文件中的一些程序，因为在这些文件中它们可以访问有文件作用域的数据结构。sqlite3_get_table()例程在table.c中实现，sqlite3_mprintf()可在printf.c中找到，sqlite3_complete()则位于tokenize.c中。Tcl接口在tclsqlite.c中实现。SQLite的C接口信息可参考http://sqlite.org/capi3ref.html。
为了避免和其他软件的名字冲突，SQLite库的所有外部符号都以sqlite3为前缀，这些被用来做外部使用的符号（换句话说，这些符号用来形成SQLite的API）是以sqlite3_开头来命名的。
2、词法分析器（Tokenizer）
当执行一个包含SQL语句的字符串时，接口程序要把这个字符串传递给tokenizer。Tokenizer的任务是把原有字符串分割成一个个标识符（token），并把这些标识符传递给解析器。Tokenizer是用手工编写的，在C文件tokenize.c中。
在这个设计中需要注意的一点是，tokenizer调用parser。熟悉YACC和BISON的人们也许会习惯于用parser调用tokenizer。SQLite的作者已经尝试了这两种方法，并发现用tokenizer调用parser会使程序运行的更好。YACC会使程序更滞后一些。
3、语法分析器（Parser）
语法分析器的工作是在指定的上下文中赋予标识符具体的含义。SQLite的语法分析器使用Lemon LALR(1)分析程序生成器来产生，Lemon做的工作与YACC/BISON相同，但它使用不同的输入句法，这种句法更不易出错。Lemon还产生可重入的并且线程安全的语法分析器。Lemon定义了非终结析构器的概念，当遇到语法错误时它不会泄露内存。驱动Lemon的源文件可在parse.y中找到。
因为lemon是一个在开发机器上不常见的程序，所以lemon的源代码（只是一个C文件）被放在SQLite的"tool"子目录下。 lemon的文档放在"doc"子目录下。
4、代码生成器（Code Generator）
语法分析器在把标识符组装成完整的SQL语句后，就调用代码生成器产生虚拟机代码，以执行SQL语句请求的工作。代码生成器包含许多文件：attach.c, auth.c, build.c, delete.c, expr.c, insert.c,pragma.c, select.c, trigger.c, update.c, vacuum.c和where.c。这些文件涵盖了大部分最重要、最有意义的事情。expr.c处理SQL中表达式的代码生成。where.c处理SELECT、UPDATE和DELETE语句中WHERE子句的代码生成。文件attach.c, delete.c, insert.c, select.c, trigger.c, update.c和vacuum.c处理同名SQL语句的代码生成（这些文件在必要时都调用expr.c和where.c中的例程）。所有其他SQL语句的代码由build.c生成。文件auth.c实现sqlite3_set_authorizer()的功能。
5、虚拟机（Virtual Machine）
代码生成器生成的代码由虚拟机来执行。关于虚拟机更详细的信息可参考http://sqlite.org/opcode.html。总的来说，虚拟机实现一个专为操作数据库文件而设计的抽象计算引擎。它有一个存储中间数据的存储栈，每条指令包含一个操作码和不超过三个额外的操作数。
虚拟机本身被完整地包含在一个单独的文件vdbe.c中，它也有自己的头文件，其中vdbe.h定义虚拟机与SQLite库其他部分之间的接口，vdbeInt.h定义虚拟机私有的数据结构。文件vdbeaux.c包含被虚拟机使用的一些工具，和被库的其他部分用来构建VM程序的一些接口模块。文件vdbeapi.c包含虚拟机的外部接口，例如sqlite3_bind_...族的函数。单独的值（字符串、整数、浮点数、BLOB对象）被存储在一个叫Mem的内部对象中，在vdbemem.c中可找到它的实现。
SQLite使用回调风格的C语言程序来实现SQL函数，每个内建的SQL函数都用这种方式来实现。大多数内建的SQL函数（例如coalesce(), count(), substr(), 等等）可在func.c中找到。日期和时间转换函数可在date.c中找到。
6、B-树（B-Tree）
一个SQLite数据库使用B-树的形式存储在磁盘上，B-树的实现位于源文件btree.c中。数据库中的每个表和索引使用一棵单独的B-树，所有的B-树存放在同一个磁盘文件中。文件格式的细节被记录在btree.c开头的备注里。B-树子系统的接口在头文件btree.h中定义。
7、页面高速缓存（Page Cache）
B-树模块以固定大小的数据块形式从磁盘上请求信息，默认的块大小是1024个字节，但是可以在512和65536个字节之间变化。页面高速缓存负责读、写和缓存这些数据块。页面高速缓存还提供回滚和原子提交的抽象，并且管理数据文件的锁定。B-树驱动模块从页面高速缓存中请求特定的页，当它想修改页面、想提交或回滚当前修改时，它也会通知页面高速缓存。页面高速缓存处理所有麻烦的细节，以确保请求能够快速、安全而有效地被处理。
页面高速缓存的代码实现被包含在单一的C源文件pager.c中。页面高速缓存子系统的接口在头文件pager.h中定义。
8、OS接口
为了在POSIX和Win32操作系统之间提供移植性，SQLite使用一个抽象层来提供操作系统接口。OS抽象层的接口在os.h中定义，每种支持的操作系统有各自的实现：Unix使用os_unix.c，Windows使用os_win.c，等等。每个特定操作系统的实现通常都有自己的头文件，如os_unix.h, os_win.h等。
9、实用工具（Utilities）
内存分配和字符串比较函数位于util.c中。语法分析器使用的符号表用Hash表来维护，其实现位于hash.c中。源文件utf.c包含Unicode转换子程序。SQLite有自己的printf()实现（带一些扩展功能），在printf.c中，还有自己的随机数生成器，在random.c中。
10、测试代码（Test Code）
如果你计算回归测试脚本，超过一半的SQLite代码将被测试。主要代码文件中有许多assert()语句。另外，源文件test1.c通过test5.c和md5.c实现只用于测试目的的一些扩展。os_test.c后端接口用来模拟断电，以验证页面高速缓存的崩溃恢复机制。
SQLite Version3.3.6源代码文件结构
| 文件名称 | 大小byte | 备注 | |
| API | main.c | 35414 | SQLite Library的大部分接口 |
| legacy.c | 3734 | sqlite3_exec的实现 | |
| table.c | 5464 | the sqlite3_get_table() and sqlite3_free_table()的实现，它们是sqlite3_exec的包装 | |
| preprare.c | 17983 | 主要实现sqlite3_prepare() | |
| 分词器部分(Tokenizer) | tokenize.c | 14495 | 分词器的实现 |
| 语法分析器部分(Parser) | parser.c | 116917 | 分析器的实现，由Lemon实现 |
| parser.h | 6847 | 分析器内部定义的关键字 | |
| 代码生成器(Code Generator) | update.c | 23878 | 处理UPDATTE语句 |
| delete.c | 21978 | 处理DELETE语句 | |
| insert.c | 62026 | 处理INSERT语句 | |
| trigger.c | 29065 | 处理TRIGGER语句 | |
| attach.c | 15941 | 处理ATTACHT 和DEATTACH语句 | |
| select.c | 112084 | 处理SELECT语句 | |
| where.c | 75826 | 处理WHERE语句 | |
| vacuum.c | 11005 | 处理VACUUM语句 | |
| pragma.c | 34289 | 处理PRAGMA命令 | |
| expr.c | 73963 | 处理SQL语句中的表达式 | |
| auth.c | 7496 | 主要实现sqlite3_set_authorizer() | |
| analyze.c | 13149 | 实现ANALYZE命令 | |
| alter.c | 18414 | 实现ALTER TABLE功能 | |
| build.c | 104052 | 处理以下语法：CREATE TABLE, DROP TABLE, CREATE INDEX,DROP INDEX,creating ID lists,BEGIN TRANSACTION,COMMIT,ROLLBACK | |
| func.c | 34335 | 实现SQL语句的函数语句 | |
| date.c | 24031 | 与日期和时间转换有关的函数 | |
| 虚拟机(Virtual Machine) | vdbeapi.c | 23300 | 虚拟机提供上层模块调用的API实现部分 |
| vdbe.c | 143552 | 虚拟机的主要实现部分 | |
| vdbe.h | 5309 | 定义了VDBE的接口，VdbeOp结构体(代表一条指令) | |
| vdbeaux.c | 58741 | Vdbe.h的接口的实现 | |
| vdbeInt.h | 17595 | Vdbe.c的私有头文件，定义了VDBE常用的数据结构：Cursor——虚拟机中使用的游标, Mem——vdbe在内部把所有的SQL值当作一个Mem数据结构来处理,Vdbe——虚拟机数据结构 | |
| vdbemem.c | 26375 | 操作”Mem”数据结构的函数 | |
| vdbefifo.c | 2927 | ||
| B-Tree部分 | btree.h | 5260 | 头文件，定义了B-tree提供的操作接口 |
| btree.c | 215570 | B-Tree部分的主要实现，并定义了以下数据结构：Btree——Btree handler,BtCursor——使用的游标, BtLock——锁, BtShared——包含了一个打开的数据库的所有信息,MemPage——文件在内存存放在该数据结构中,aCellInfo | |
| OS Interface部分 | os.h | 18355 | 定义了为上层模块提供的操作函数，并定义了以下数据结构： |
| OsFile——描述一个文件 | |||
| IoMethod——OsFile所支持的操作函数（对所有架构都适用的OS Interface） | |||
| os.c | 2866 | 对IoMethod中的函数的包装 | |
| os_win.c | 42975 | Windows平台下的OS Interface | |
| os_unix.c | 60831 | Unix平台下的OS Interface | |
| os_os2.c | 28451 | OS2平台下的OS Interface | |
| 其它部分 | utf.c | 20891 | 与UTF编码有关的函数 |
| util.c | 43575 | 一些实用函数，比如： | |
| sqlite3Malloc()，sqlite3FreeX() | |||
| sqlite3.h | 63873 | SQLite的头文件，定义了提供给应用使用的API和数据结构。 | |
| sqliteInt.h | 78886 | 定义了SQLite内部使用的接口和数据结构 | |
| printf.c | 29556 | 主要实现与printf有关的函数 | |
| random.c | 3078 | 随机数生成 | |
| hash.c | 11896 | SQLite使用的hash表 | |
| hash.h | 4033 | Hash 表头文件 |
扫一扫
845
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
