手把手教你从零开始实现一个数据库系统

最新推荐文章于 2024-06-10 17:51:35 发布

Docker_

最新推荐文章于 2024-06-10 17:51:35 发布

阅读量3.7k

点赞数 3

本系列文章一共13篇，本文为第一篇，请关注公众号，后续文章会陆续发布。

作为Web开发工程师，我的日常工作会用到关系型数据库，但是数据库的内部工作机制对我来讲是个黑盒子，我会有这样的问题：

数据以怎样的格式存储在内存和硬盘上？
什么时候需要将数据从内存挪到硬盘上？
为什么每张表的主键是唯一的？
事务处理是如何回滚的？
索引的格式是怎样的？
全表扫描是何时，怎样发生的？
PreparedStatement是以怎样的格式保存的？（PreparedStatement是用来执行SQL查询语句的API之一）

简而言之，数据库是如何工作的？

为了搞清这个问题，我从零写了个数据库。这个数据库是基于SQLite的，因为比起MySQL或者PostgreSQL，SQLite更加轻量级，更容易被理解。整个数据库存储在一个文件中。

SQLite

在SQLite的官网上有很多相关的文档[1]，我复制了SQLite Database System：Design and Implementation[2]如下：

SQLite架构

为了能获取或者修改数据，一条查询经过了一系列的组件链。前端的组件包括：

tokenizer
parser
code generator

前端组件的输入是一条SQL的查询。而输出是SQLite的虚拟机字节码（其本质上是可以在数据库上运行的已编译程序）。

后端组件包括：

虚拟机
B-tree
pager
os interface

虚拟机将前端生成的字节码作为指令。然后，它可以对一个或多个表或索引执行操作，每个表或索引都存储在称为B树的数据结构中。VM本质上是关于字节码指令类型的switch语句（switch语句是一种选择控制机制，用于允许变量或表达式的值通过搜索和映射来更改程序执行的控制流）。

每个B树由许多节点组成。每个节点的长度为一页。B树可以通过向pager发布指令从磁盘获取页面或者存储页面到磁盘。

Pager接收命令以读取或写入数据页。它负责以适当的偏移量在数据库文件中进行读取/写入。它还在内存中保留了最近访问页面的缓存，并确定何时需要将这些页面写回到磁盘。

os接口层会因为SQLite在哪种操作系统中编译而有所不同。本教程不支持多个平台。

千里之行始于足下，让我们直接从REPL开始。

制作一个简单的REPL

当你从命令行启动SQLite时，它会启动一个read-execute-print循环：

~ sqlite3
SQLite version 3.16.0 2016-11-04 19:09:39
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> create table users (id int, username varchar(255), email varchar(255));
sqlite> .tables
users
sqlite> .exit
~

我们的主函数将循环打印提示，获取输入行，然后处理该输入行：

int main(int argc, char* argv[]) {
  InputBuffer* input_buffer = new_input_buffer();
  while (true) {
    print_prompt();
    read_input(input_buffer);
    if (strcmp(input_buffer->buffer, ".exit") == 0) {
      close_input_buffer(input_buffer);
      exit(EXIT_SUCCESS);
    } else {
      printf("Unrecognized command '%s'.\n", input_buffer->buffer);
    }
  }

我们将InputBuffer定义为一个小包装，用于包装需要与getline()[3]进行交互的状态。（稍后详细介绍）

typedef struct {
  char* buffer;
  size_t buffer_length;
  ssize_t input_length;
} InputBuffer;
InputBuffer* new_input_buffer() {
  InputBuffer* input_buffer = (InputBuffer*)malloc(sizeof(InputBuffer));
  input_buffer->buffer = NULL;
  input_buffer->buffer_length = 0;
  input_buffer->input_length = 0;
  return input_buffer;
}

接下来，print_prompt()函数会向用户打印提示。我们在读取每一行的输入之前执行此操作。

void print_prompt() { printf("db > "); }

用getline()函数来读取输入：

ssize_t getline(char **lineptr, size_t *n, FILE *stream);

lineptr：指向变量的指针，我们用它来指向读取行的缓存区。如果将其设置为NULL，它将由getline分配，由用户释放，即使命令失败。

N：指向用于保存分配的缓冲区大小的变量的指针。

流：要读取的输入流。我们按标准输入读取内容。

返回值：读取的字节数，可能小于缓冲区的大小。

我们用getline把read line的内容存储在inputbuffer->buffer同时把缓冲区的大小值存储在inputbuffer->bufferlength。我们把返回值存储在inputbuffer->input_length。

缓冲区初始为空，getline会保留足够的内存来存放输入的内容，并让缓冲区指向该存储空间。

void read_input(InputBuffer* input_buffer) {
  ssize_t bytes_read =
      getline(&(input_buffer->buffer), &(input_buffer->buffer_length), stdin);
  if (bytes_read <= 0) {
    printf("Error reading input\n");
    exit(EXIT_FAILURE);
  }
  // Ignore trailing newline
  input_buffer->input_length = bytes_read - 1;
  input_buffer->buffer[bytes_read - 1] = 0;
}

这里我们定义一个函数，该函数释放为InputBuffer *实例分配的内存和相应结构的缓冲区元素（getline为readinput中的inputbuffer-> buffer分配内存）。

void close_input_buffer(InputBuffer* input_buffer) {
    free(input_buffer->buffer);
    free(input_buffer);
}

最后，我们解析并执行命令。现在只有一个可识别的命令：.exit，它用来终止程序。否则，我们将打印错误消息并继续循环。

if (strcmp(input_buffer->buffer, ".exit") == 0) {
  close_input_buffer(input_buffer);
  exit(EXIT_SUCCESS);
} else {
  printf("Unrecognized command '%s'.\n", input_buffer->buffer);
}

我们来执行一下：

~ ./db
db > .tables
Unrecognized command '.tables'.
db > .exit
~

我们REPL一切正常。在下一部分中，我们将开始开发命令语言。同时，本章的所有代码如下：

#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
typedef struct {
  char* buffer;
  size_t buffer_length;
  ssize_t input_length;
} InputBuffer;
InputBuffer* new_input_buffer() {
  InputBuffer* input_buffer = malloc(sizeof(InputBuffer));
  input_buffer->buffer = NULL;
  input_buffer->buffer_length = 0;
  input_buffer->input_length = 0;
  return input_buffer;
}
void print_prompt() { printf("db > "); }
void read_input(InputBuffer* input_buffer) {
  ssize_t bytes_read =
      getline(&(input_buffer->buffer), &(input_buffer->buffer_length), stdin);
  if (bytes_read <= 0) {
    printf("Error reading input\n");
    exit(EXIT_FAILURE);
  }
  // Ignore trailing newline
  input_buffer->input_length = bytes_read - 1;
  input_buffer->buffer[bytes_read - 1] = 0;
}
void close_input_buffer(InputBuffer* input_buffer) {
    free(input_buffer->buffer);
    free(input_buffer);
}
int main(int argc, char* argv[]) {
  InputBuffer* input_buffer = new_input_buffer();
  while (true) {
    print_prompt();
    read_input(input_buffer);
    if (strcmp(input_buffer->buffer, ".exit") == 0) {
      close_input_buffer(input_buffer);
      exit(EXIT_SUCCESS);
    } else {
      printf("Unrecognized command '%s'.\n", input_buffer->buffer);
    }
  }
}