一个追逐梦想的码农

PostgreSQL是一种开源的关系型数据库管理系统，其内核源码的分析对于深入理解其工作原理、性能优化以及定制开发等方面都具有重要意义。PostgreSQL的历史可以追溯到1986年，当时Michael Stonebraker和Eugene Wu在加州大学伯克利分校开始了POSTGRES项目的开发。该项目旨在开发一种具有可扩展性和可靠性的关系型数据库管理系统，以满足日益增长的数据库应用需求。在1994年，POSTGRES被发布为开源软件，并更名为PostgreSQL。

B树索引在PostgreSQL中得到了广泛应用，它是一种自平衡树数据结构，可以维护有序数据并允许进行搜索、顺序访问、插入和删除操作。在PostgreSQL中，可以在任何数据类型上使用B树索引，支持排序，支持大于、小于、等于、大于或等于、小于或等于的搜索。B树具有一些重要的特征。首先，B树是平衡的，每个叶子页与根都由相同数量的内部页分隔开，因此搜索任何值都需要花费相同的时间。其次，B树是多分支的，每个页面通常包含许多（数百个）ctid，因此B树的深度很小，对于非常大的表，实际上可以达到4-5的深度。

在postgresql最常用的索引就是btree，它支持范围和等值查询。本文主要介绍btree的代码的入口，接口定义，主要涉及索引的查询，插入，删除，和数据的清理操作。索引是为了更快的找到实际数据表中的数据，那么索引键值就非常小，可以一次性从磁盘读取大量的索引数据。但是有些索引值中存储了实际数据，与数据是一一对应的，就是密集型索引，而有一些索引并不存储实际数据，而是存储范围内的最大最小值，此类型索引叫做稀疏索引；

当表打开，或者操作表时，都需要对表relation 进行加锁，表锁定义了8种级互斥级别，另外还有会话级表锁 session lock。

每种常规锁都需要定义几个要素，它由结构体 LockMethodData 定义；锁的模式类型，也就是锁分了几种加锁方式，比如这里表锁是8种，也就是8级表锁；锁的冲突矩阵，它是一个按bit的二维表，也就是各级锁方式之间的冲突关系，比如读写互斥，读读不冲突等；锁的名字，主要是为了查找调试；postgresql 已经定义了一种默认锁 default_lockmethod， 也可以自定义用户锁。

postgresql regular lock 常规锁，主要用于数据库对象的加锁，如表，根据用户请求来加锁。它有死锁检测，在事务结束时会自动释放。

在postgresql 中，有大量的并发同步，所以避免不了使用很多保护锁。spinlock 自旋锁lightweight lock(LWLocks) 轻量级锁regular lock(a/k/a heavyweight locks) 普通锁SIReadLock predicate locks 谓词锁本文主要针对这四种锁进行分享，起抛砖引玉的作用。轻量级锁将加锁过程分成了两个阶段，第一阶段通过原子操作来检测，如果可以加锁，就加锁成功；

本文是基于postgresql 15的代码gram.y进行分析解读，演示是在centos8系统上进行。概述通过flex/bison进行词法和语法解析，生成语法分树。当然这里使用的是pure-parse模式，也就是flex的输入是指定的str，而且需要初始化每个scanner的额外数据及扫描状态结构；在bison中也是，需要初始化对应的词法scanner状态结构和额外数据的结构。这样就可以将客户端输入的SQL字符串输入到词法分析器，这个词法分析器的输出对应到语法分析器，语法分析器将解析后的内容存到语法树中。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。介绍了内核源码中关于DDL中drop table的处理流程。在删除表时，如何做到删除表物理文件与的事务原子性。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。walsender 看名字就知道，它是通过tcp协议发送write ahead log。那么它是什么场景下使用呢？以及如何获得wal产生的呢？如何与对应协调呢？下面我们就来看看。

本文是基于postgresql 15上 insert ddl执行流程分析，对应insert SQL语句在执行时对触发器，buffer，以及索引的处理流程进行了分解介绍。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。hot-standby模式是postgresql提供的一种高可用方案，可以通过一主一备，或一主多备，以及一主多级级联备来达到数据和业务的高可用，备节点也可以进行只读业务，所以对只读业务的性能也会有很好的提升。通过hot-standby模式也可以搭建容灾部署，达到多地多中心的效果。

在postgresql 15中，SQL引擎使用表文件中的数据时，先读入共享缓冲区，修改时也先在缓冲区进行修改，而后通过缓冲区替换算法，定时脏页落盘等机制将数据写入磁盘。共享缓冲区是由buffer数组构成，每一个buffer对应数据文件中的一个page，默认配置时就是8K。前面介绍过缓冲区替换算法及查找流程，本文对查找接口进行分享介绍。在postgresql 主要有六种查找buffer的接口，分别在不同场景下，以提升性能。

在postgresql 为了加速数据的读写性能，在共享内存中增加了数据缓冲区，也就是我们常说的buffer。buffer是在多进程之间共享，所以需要增加冲突处理，也就是并发控制，本文主要介绍并发控制的方法，以及该种方法的用途。

在postgresql中，SQL引擎使用表文件中的数据时，先读入共享缓冲区，修改时也先在缓冲区进行修改，而后通过缓冲区替换算法，定时脏页落盘等机制将数据写入磁盘。共享缓冲区是由buffer数组构成，每一个buffer对应数据文件中的一个page，默认配置时就是8K。前面介绍过缓冲区替换算法及查找流程，本文对查找接口进行分享介绍。在postgresql 主要有六种查找buffer的接口，分别在不同场景下，以提升性能。

当我们在客户端查询时，除了表中的数据之外，还有一个状态信息，看到的也是以tuple的形式展示出来，其实这此数据是临时组成tuple格式，而不是存储在表中的数据。下面我们就来看下，这类型数据是如何拼装成tuple格式的，需要那些步骤。

在SQL中我们可以查看表的每个字段的数据，在数据库中字段的数据如何组成一个行数据,也叫tuple，又如何从磁盘文件中获取某张表的字段数据。本文就来看看行数据的拼装/拆解接口，以及对应的流程。

本文是基于postgresql 15的代码进行分析解读，当我们的数据库意外down机后，在内存缓存中的数据就会丢失，那如何恢复它们呢，这个步骤就是redo的过程。简单来说，在数据库启动时会检查上次停止的状态，如果不是正常停止就会启动redo流程，redo也就是找到上一个checkpoint，然后对之后的wal进行回放。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。当我们的数据库意外down机后，在内存缓存中的数据就会丢失，那如何恢复它们呢，这个步骤就是redo的过程。简单来说，在数据库启动时会检查上次停止的状态，如果不是正常停止就会启动redo流程，redo也就是找到上一个checkpoint，然后对之后的wal进行回放。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。查询执行阶段，主要有portal这个结构来记录信息，并贯穿整个过程。查询主要分有计划树和无计划树两种类型，根据查询类型分别由和ProcessUtility进行执行；Executor 模块主要执行DML操作，执行逻辑统一为select，或select基础上加一些额外处理。代码主要在src/backend/executor下。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。在我们使用postgresql数据库时，总会产生一些数据膨胀，导致查询变慢，索引失效，为什么会有数据膨胀呢？产生后我们怎么做才能让数据库恢复正常呢？

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。指定为unlogged表，该表不会记录wal日志，也就是数据会存在丢失风险，不会被恢复。什么时候会用呢？unlogged表不记录wal的原因，insert/update操作就比普通表快很多，所以在性能测试时不防尝试一下。那么unlogged表是如何实现的呢？创建表的流程和普通表一致，只是在创建表文件时，会多创建一个fork文件，也就是INIT_FORK，文件命名为 relfilenode_init；

本文介绍postgresql 15中索引如何加速查询，以及索引中记录的内容和索引与数据如何关联起来。其中indextuple如何组装，它需要的tid又是在什么时机形成。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。vacuum有两种调用途径，通过SQL命令和可执行命令，通过autovacuum后台服务。命令方式可以通过设置参数，对vacuum行为可选项进行控制；autovacuum是后面服务，根据配置定期进行调用执行，按数据库列表进行遍历，然后分别遍历各个数据库内的所有表及表涉及的对象。

文章目录前言Page结构pageHeaderData行指针空闲空间tuple数据结构special空间结尾作者邮箱：study@senllang.onaliyun.com如有错误或者疏漏欢迎指出，互相学习。...

关键数据结构 typedef struct XLogRecord{ uint32 xl_tot_len; /* total len of entire record */ TransactionId xl_xid; /* xact id */ XLogRecPtr xl_prev; /* ptr to previous record in log */ uint8 xl_info; /* flag bits, see below */ RmgrId xl_rmid;...

postgresql 内核开发，HeapTupleHeaderData 结构介绍，以及tuple构建

初始化过程在initdb的initialize_data_directorycreate_xlog_or_symlink() 创建wal日志目录PG_CMD_OPEN通过 popen打开主程序postgres snprintf(cmd, sizeof(cmd), "\"%s\" --boot -x1 -X %u %s %s %s", backend_exec, wal_segment_size_mb * (1024 * 1024), data_checks..

postgresql 查询计划生成后，由执行器来完成真正的SQL处理。本次主要对执行模块进行一个简要介绍，大体的调用过程如下。生成执行计划后，开始执行计划，调用路径为：其中根据解析后执行策略进行选择具体执行方式，策略主要有：case PORTAL_ONE_SELECT:case PORTAL_ONE_RETURNING:case PORTAL_ONE_MOD_WITH:case PORTAL_UTIL_SELECT:前...

postgres;源码分析;创建表；获取OID

postgres表文件,oid,relfilenode

postgresql fsm 空闲空间映射 空闲空间管理

postgresql，内核源码，内核分析，lwlock

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。快照机制快照是事务机制的一项重要组成部分，与MVCC，以及锁共同完成事务的隔离性，一致性和原子性。快照主要获取当前整个数据库的所有事务的状态，通过三个事务号区间（ (xid,xmin);[xmax, xid)）来确定当前事务对多版本数据的可见性,。其中两边的区间是明确的，第一个区间一定是完成的，是可见的；第三个区间一定是未来的，对当前事务来说是未发生的，不可见；

postgresql 内核原码 认证

本文是基于postgresql 15的代码进行分析解读，64位transactionID的定义和分配分发。事务号的定义32位事务号定义之前版本事务号是32位，现在版本已经扩展到了64位，但与之前是保持了兼容；在64位的高32位是epoch，低32位与之前一致，是递增加1的事务号，并且能做到回卷。32位事务号的定义：typedef;typedef;#define)0)#define)1)64位事务号的定义采用了结构体的形式，取值通过一组接口或宏的调用来获得。/**/{

本文是基于postgresql 14的代码进行分析解读，数据库事务状态机分析。事务状态分层事务块的状态，也就是大的事务，可以跨多个SQL命令，类似于begin/end之间；包括子事务的状态 ，以及事务的层次；子事务由savepoint产生。命令事务状态，也就是单个SQL命令的执行状态，每输入一条SQL命令，都会有状态的维护；当执行单条SQL时，自动提交打开，这两个状态是一致的；底层事务处理，处理事务对应状态下的事情。比如在事务提交时，需要调用日志管理进行日志处理，还有清理工作等；

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。无效消息，是各运行中的backend之间发送的消息，为了在各backend之间通信，在共享内存中分配了sSharedInval部分，用于传递消息。当sharedinvalid共享内存空间不足时，需要通知各backend进行重置，以免有些backend落后很多。invalidmessage共享内存管理分配创建内存由shmInvalBuffer来记录内存位置，整个由 SISeg结构来维护管理。

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。表操作接口 tableam 在postgresql中定义了统一的表访问操作的统一接口，同时也定义了一组堆表操作的接口。这样就可以非常灵活的定义其它类型存储结构的表操作。堆表接口定义如下，主要分为扫描（索引，普通，并行），索引操作，数据行操作，表操作几大类型；};表扫描结构介绍heap 表扫描，会用下面结构记录扫描过程的信息，结构成员分为：1、initscan初始化的部分；2、scan过程中的信息记录；

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。缓冲区查找当执行SQL时，需要表文件中的数据时，先从共享缓冲区中查找，如果有就使用；如果没有就会引发替换或加载缓冲区的IO行为。ReadBuffer主要对表文件的查找，其中调用ReadBufferExtended;查找策略采用默认策略 clock sweep；数据块已经在缓冲区中加载；直接通过查找得到buffer。