一个追逐梦想的码农

手写数据库toadb 保姆级教程来了。

手写数据库开始了，从零开始，step by step ，让小白都可以轻松开发数据库内核，简历上再增亮点，面试多了一份自信。toad database system，“癞蛤蟆”数据库，正如其名，我们想吃天鹅肉，它是一款从零完全开始手写的数据库，同时在每做一步都会有教程和分析，期待更多人加入，一起同行。故不积跬步，无以至千里；不积小流，无以成江海。学以致用，从现在就开始吧。

先来说一下概念：数据库，一般也称为数据库管理系统，当然也有认为这两种叫法是有区别的，我们这里说的数据库，就是数据库软件本身，可以输入SQL，输出结果。这里主要介绍一下通用数据库的核心内容，也就是数据库共性的模块，再此基础上再进行各方向的探索。数据库主要有几大件，可能有你熟悉的，下面我们一起来看看。

​前言手写一款数据库toadb，代码从零开始，不是简单的重复造轮子，而是作为一个项目，不仅有代码编程需要学习，还有系统编程经验积累，更有软件设计思想的融入。当你还在为没有真实项目练手而烦恼时，toadb逐渐成形的过程就是一个项目的完整过程，不仅说明自己的计算机知识，也能说明自己的实战经验。

​前言手写数据库内核，从零开始使用C语言编写一个属于自己的数据库。你还在为学习编程没有实践项目而彷徨吗？你还在为自己的简历没有亮点项目而被拒吗？你还在为学习编程能做什么而迷茫吗？这里都有，麻雀虽小却五脏俱全，从SQL输入，SQL词法分析，语法分析，逻辑执行计划，物理执行计划，到数据库执行器，数据字典，再到表的物理存储，存储管理，一站式打通数据库基础框架。同时这里还会采用最新的行列混合式存储模型，能有效应对大数据AI场景应用。

​前言我们的目标是手写一款数据库内核，希望提升我们对数据库机制的认识，同时也能提升我们编码能力，对编程语言的灵活应用，了解实际应用中的技巧，正所谓从书中来，到实践中去。数据库内核听起来很高升啊，大家千万不要被这个吓到，以为自己不适合，其实我们只是做一个基本架构，并不是面面俱到，只要是学会了C语言就可以跟本教程一起开始，不管是在校学生，还是已经工作，正在找寻自己的方向，这个项目将给你的简历增添一项重要的经历。

​前言本专栏是介绍从零开始手写一款数据库内核，通过构建一个简单的数据库内核模型，避免开源数据库庞大的代码量和繁多的功能，toadb化繁为简，麻雀虽小五脏俱全，展示数据库核心模块的原理，流程，同时可以加深对数据库原理的理解，提升编程和架构设计能力。

​前言手写一款数据库toadb，代码从零开始，不是简单的重复造轮子，而是作为一个项目，不仅有代码编程需要学习，还有系统编程经验积累，更有软件设计思想的融入。当你还在为没有真实项目练手而烦恼时，toadb逐渐成形的过程就是一个项目的完整过程，不仅说明自己的计算机知识，也能说明自己的实战经验。

手写数据库内核，麻雀虽小，但是五脏俱全，本教程从零手把手带大家开始，欢迎需要找项目练手的同学们加入一起打造自己的专属数据库内核。不管你是刚学会C语言编程，还是已经做过很多项目，手写一款数据库内核都会对你有所帮助，提升编程语言的实际应用能力，软件架构设计能力，最重要的是让自己的简历增加非常重要的一个项目经历，有资本在找工作时侃侃而谈，掌握主动权。

我们虽然造轮子，但是也会造完全一样的轮子。所以toadb在选择存储模型时，行存模型已经成熟，列存模型也有了一些成熟的实践，当前AI 大模型时代已经到来，它对数据的要求不再是单一的事务或分析型处理，所以混合型的存储模型更能适合当前的发展需求。基于这样的初衷下，我们也开始搭建基于行列混合模型的数据库存储架构。对于存储架构已经做了介绍，这里主要介绍如何实现行列存储模型。对于传统行式存储模型，每个数据表对应一个物理文件，为了支持行列混合，toadb采用按行进行分组，分组内按每一列进行存储；

手写数据库内核，带大家从零开始写出属于自己的数据库，看似很庞大的数据库系统，经过对核心模块的提取精简，不论是刚学会编程还是有理论基础的你，都会不会感到困难，造自己的轮子，提升项目综合能力，让自己的简历更加丰富。

我们的目标是手写一款数据库内核，希望提升我们对数据库机制的认识，同时也能提升我们编码能力，对编程语言的灵活应用，了解实际应用中的技巧，正所谓从书中来，到实践中去。数据库内核听起来很高升啊，大家千万不要被这个吓到，以为自己不适合，其实我们只是做一个基本架构，并不是面面俱到，只要是学会了C语言就可以跟本教程一起开始，不管是在校学生，还是已经工作，正在找寻自己的方向，这个项目将给你的简历增添一项重要的经历。我们在模仿造轮子的过程中，才能体会到从0搭建一个软件，手写数据库内核，行列混合存储模型，物理存储模型介绍

软件的迭代开发过程中，它的功能，稳定性，性能，易用性能各方面都在发生着变化，随着软件的庞大，已经不能通过人工手段进行觉察，所以需要配套测试工具，由自动化来验证原有功能的完整性，和增加功能带来的变化效果。在toadb起始，我们准备了两套自动化测试工具集，一套是功能测试，一套是性能兼稳定性测试，它们都是通过shell脚本来编写，调用客户端工具tsql来执行SQL。

如何才能做到经验丰富，那就是不断系统的接收各种类型，各行业的软件模型知识，不断积累，才能成为优秀的软件行业的从业者，有自己可以掌控的发展路径。当然我们也可以不断造轮子，在成熟软件的经验上来复制它，让我们综合能力得到提升。当我们面试时，不再说自己会select/insert/update/delete操作，这些是AI做的事，而我们可以谈不同的数据库存储模型，它有那些适合的适用场景，它们各自己的工作流程。不论还是学生，还是在工作，掌握了一门C语言编程，就可以开始打造属于自己的数据库，做不一样的自己！

带你手写数据库内核项目，即然是一个项目，需要的综合能力，不仅是需要代码，还需要掌握一个工具使用技能。如果一个项目会产生很多文件，如沟通中的记要，设计文档，源代码文件等，在项目开始之前就需要选择一个带有版本控制的文件管理软件，一般的都FTP就不能胜任此项工作了。当有一个文件被多次修改时，还能记起每次修改的内容差异，比如常用SVN，每次修改后都会有提交记录，创建一个版本，可以查阅每次提交的差异，如果需要回退到以前，也很方便。

工欲善其事，必先利其器。手写toadb数据库内核项目，提供保姆级的教程，能够让初学者顺利着手开始，开发出一款自己的数据库内核，在自己的简历上多一份重量级的项目履历。既然是保姆级与入门级教程，一定要从项目开始说起，而不是代码开始，本阶段的内容主要包括开发环境，git使用，开发工具以及调试等准备内容，熟悉的朋友可以直接跳过。在开始toadb数据库内核开发之前，我们需要先准备一下开发环境，这是每个开发项目开始之前的必经之路。toadb项目的开发环境是什么呢？

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

主要更新了解析树，增加了查询树和执行计划树的生成，这有利于带条件SQL和复杂SQL处理，同时节点化各个关系代数运算后，有利于执行计划优化的实现。与此同时，更新了执行器，可以通过输入的计划树来执行，不再像以前通过SQL解析结果。

词法分析和语法分析是数据库的入口，今天就从头开始，讲解语法分析和语法分析的基础知识，让我们开始吧。flex的前身是Lex, Lex是1975年由Mike Lesk和当时尚在AT&T实习的Eric Schmidt共同完成的），是一个词法分析器的生成程序，可以单独使用也可以与Johnson的yacc协同工作。大概在1987年，Berkeley实验室的Vern Paxson用C重新写了Lex，并命名为FLex（the Fast Lexical Analyzer Generator），基于伯克利许可证。

经过第一阶段的准备，可以解析出create/drop table, select/insert等SQL语句了，那么如何把这几条语句按数据库流程执行完成呢。又经过了第二阶段，这四条语句可以执行了，这是一个不小的阶段；这就涉及到SQL的执行器，执行器是一个比较复杂的模块，从架构上看，它桥接了SQL解析和存储层，同时涉及到了数据字典更新维护，数据扫描，数据从存储到内存的转换等很多模块。下面我们就来详细看一看，taodb是个什么样的数据库，它从零成长到现在，具有什么样的能力了呢？

数据库系统如何识别我们输入的SQL语句呢，当我们输入无论多少空白，它总能识别正确的意思，这些是如何做到的呢？SQL解析就是把我们输入的SQL解析为系统可以使用的标识符，记得我们在学习编译原理时，写过四则运算的解析，原理大致相同。这里我们不再写解析程序，直接借助开源工具flex/bison，它们已经做的非常成熟。接下来我们介绍如何将我们的SQL解析，以及如何在工具集上进行开发SQL解析器。

经过前面的准备，可以解析出create/drop table, select/insert等SQL语句了，那么如何把这几条语句按数据库流程执行完成呢。这就涉及到SQL的执行器，执行器是一个比较复杂的模块，从架构上看，它桥接了SQL解析和存储层，同时涉及到了数据字典更新维护，数据扫描，数据从存储到内存的转换等很多模块。下面我们就来详细看一看，一个SQL执行器是如何工作的。DDL数据定义语言，定义数据库的逻辑结构，包括定义数据库、基本表、视图、索引以及其它数据库对象；DML数据操纵语言。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。