《postgresql指南--内幕探索》第八章 缓冲区管理

缓冲管理器管理共享内存和持久存储之间的数据传输,并可能对 DBMS 的性能产生重大影响。

postgresql中缓冲区管理器,存储和后端进程之间的关系:
在这里插入图片描述

概览
缓冲区管理器结构

PostgreSQL缓冲区管理器包括一个缓冲区表、缓冲区描述符和缓冲池,这些将在下一节中介绍。缓冲池存储数据文件的页, 如表和索引,以及自由空间映射和可见性映射的页面。缓冲池是一个数组,数据的每个插槽存储数据文件的一页。缓冲池数组的索引称为buffer_id。

缓冲区标签

在PostgreSQL中,可以为所有数据文件的每个页面分配一个唯一的标记,即缓冲区标签。当缓冲区管理器收到请求时, PostgreSQL使用目标页面的缓冲区标签。

其中,关系文件节点用于定位页面所属的关系,关系分支编号用于定位关系文件的具体分支文件,页面块号则在具体分支文件中指明相应页面的偏移量。

缓冲区标签由三个值组成,分别是关系文件节点、关系分支编号和页面块号。第一个值分别代表了表空间、数据库和表的oid;第二个值代表关系表的分支号;一个关系可能有三种分支,分别是关系主体(main分支,编号为0)、空闲空间映射( fsm分支,编号为1)及可见性映射(vm分支,编号为2)。最后一个值代表页面号。

例如,{(16821, 16384, 37721), 0, 7} 标签表示,在某个表空间(oid=16821)中,某个数据库(oid=16384)的某张表(oid=37721)的 0 号分支( 0代表关系表本体)的第 7 号页面。再比如,缓冲区标签 {(16821, 16384, 37721), 1, 3} 表示该表空闲空间映射文件的三号页面。关系本体 main 分支编号为 0,空闲空间映射 fsm 分支编号为1。

后端进程如何读取数据页

步骤如下图:
在这里插入图片描述
(1)读取表或索引页时,后端进程会向缓冲区管理器发送包含该页的buffer_tag的请求。
(2)缓冲区管理器返回存储请求页的插槽的buffer_ID。如果请求的页未存储在缓冲池中,则缓冲管理器将页从持久存储加载到缓冲池插槽中,然后返回buffer_ID的插槽。
(3)后端进程访问buffer_ID的插槽(读取所需的页面)。

当后端进程修改缓冲池中的页面(例如向页面插入插入tuples)时,尚未刷新到存储的修改后的页面称为脏页。

页面替换算法

当所有缓冲池插槽都被占用,但请求的页面未被存储时,缓冲管理器必须在缓冲池中选择一个将被请求的页面替换的页面。通常,在计算机科学领域,页面选择算法称为页面替换算法,所选页面称为牺牲者页面。

自计算机科学出现以来,对页面替换算法的研究一直在进行;因此,以前提出了许多替换算法。从8.1版开始,PostgreSQL使用了clock sweep算法,因为它比以前版本中使用的LRU 算法更简单、更高效。

脏页刷盘

脏页最终应刷新到持久性存储,不过,缓冲区管理器需要其他的协助来执行此任务。在PostgreSQL中,两个后台进程 (checkpoint和backgroud writer) 负责此任务。

缓冲区管理器的结构

PG 的缓冲区管理器由三层组成,即缓冲表层、缓冲区描述符层和缓冲池层。如下图所示。

  • 缓冲表层是一个散列表,它存储着页面的 buffer_tag 与描述符的 buffer_id 之间的映射关系。

  • 缓冲区描述符层是一个由缓冲区描述符组成的数组。每个描述符与缓冲池槽一一对应,并保存着相应槽的元数据。

  • 缓冲池层是一个数组。每个槽都存储一个数据文件页,数组槽的索引称为 buffer_id。

在这里插入图片描述

缓冲表

缓冲表层的作用是,根据后端进程发送的请求,创建目标页面的 buffer_tag(这个结构下面会讲,暂时将其理解为缓冲区中包含的一个磁盘块),然后将 buffer_tag 通过内置的散列函数映射到哈希桶槽,并分配 buffer_id, 即目标页面在缓冲池数组中存储的槽位的序号。

缓冲表在逻辑上可分为三部分: 散列函数、散列桶槽及数据项。为了避免哈希函数的冲突的发送,缓冲表采用了使用链表的分离链接方法来解决冲突。当数据项被映射至同一个桶槽时,该方法会将这些数据项保存在一个链表中。缓冲表层结构如下图所示:
在这里插入图片描述
数据项包括两个值,即页面的 buffer_tag 和包含页面元数据的描述符的 buffer_id。例如,数据项 Tag_A,id=1 表示,在 buffer_id=1 对应的缓冲区描述符中,存储着页面 Tag_A 的元数据。

缓冲区描述符

缓冲区描述符保存着页面的元数据,对应的页面则保存在缓冲池的槽位中。缓冲区描述符的结构由BufferDesc 结构定义。

    /* src/include/storage/buf_internals.h  (9.6版本之后, 移除了一些字段) */

    /* 缓冲区描述符的标记位定义(9.6版本之后)
     * 注意,TAG_VALID实际上意味着缓冲区散列表中有一条与本tag关联的项目
     */
    #define BM_LOCKED                 (1U << 22)    /* 缓冲区首部被锁定 */
    #define BM_DIRTY                  (1U << 23)    /* 数据需要写入 */
    #define BM_VALID                  (1U << 24)    /* 数据有效 */
    #define BM_TAG_VALID              (1U << 25)    /* 标签有效,已经分配 */
    #define BM_IO_IN_PROGRESS         (1U << 26)    /* 读写进行中 */
    #define BM_IO_ERROR               (1U << 27)    /* 先前的I/O失败 */
    #define BM_JUST_DIRTIED           (1U << 28)    /* 写之前已经脏了 */
    #define BM_PIN_COUNT_WAITER       (1U << 29)    /* 有人等着钉住页面 */
    #define BM_CHECKPOINT_NEEDED      (1U << 30)    /* 必须在检查点时写入 */

    #define BM_PERMANENT              (1U << 31)    /* 永久缓冲 */

    /* BufferDesc -- 单个共享缓冲区的共享描述符/共享状态
     *
     * 注意,读写tag、state、wait_backend_pid 等字段时必须持有缓冲区首部锁(BM_LOCKED标记位)
     * 简单地说,refcount、usagecount标记位组合起来被放入一个原子变量state中,而缓冲区首部锁
     * 实际上是嵌入标记位中的一个bit。这种设计允许我们使用单个原子操作,而不是获取/释放自旋锁
     * 来实现一些操作。例如refcount的增减。buf_id字段在初始化之后再也不会改变,所以不需要锁
     * freeNext是通过buffer_strategy_lock而非buf_hdr_lock来保护的。LWLocks字段可以自己管好自
     * 己。注意,buf_hdr_lock *不是* 用来控制对缓冲区内数据的访问的
     *
     * 我们假设持有首部锁时,没人会修改state字段。因此持有缓冲区首部锁的人可以在一次写入
     * 中对state变量进行很复杂的更新,包括更新完的同时释放锁(清理BM_LOCKED标记位)。此外,不持有
     * 缓冲区首部锁而对state进行更新仅限于CAS操作,它能确保操作时,没有设置BM_LOCKED标记位
     * 不允许使用原子自增/自减、OR/AND等操作
     *
     * 一个例外是,如果我们钉住了该缓冲区,它的标签除了我们自己之外不会被偷偷修改
     * 所以我们无须锁定自旋锁就可以检视该标签。此外,一次性的标记读取也无须锁定自旋锁,
     * 当我们期待测试标记位不会改变时,这种做法很常见
     *
     * 如果另一个后端钉住了该缓冲区,我们就无法从磁盘页面上物理移除项目。因此后端需要等待
     * 所有其他的钉被移除。移除时它会得到通知,这是通过将它的PID存到wait_backend_pid,并设置
     * BM_PIN_COUNT_WAITER标记位而实现的。就目前而言,每个缓冲区只能有一个等待者
     *
     * 对于本地缓冲区,我们也使用同样的首部,不过锁字段就没用了,一些标记位也没用。为了避免不必要
     * 的开销,对state字段的操作不需要用实际的原子操作(即pg_atomic_read_u32,
     * pg_atomic_unlocked_write_u32)
     *
     * 增加该结构的尺寸,增减、重排该结构的成员时需要特别小心。保证该结构体小于64B对于性能
     * 至关重要(最常见的CPU缓存尺寸)
     */
    typedef struct BufferDesc
    {
        BufferTag      tag;                /* 存储在缓冲区中页面的标识 */
        int            buf_id;             /* 缓冲区的索引编号 (从0开始) */

        /* 标记的状态,包含标记位、引用计数、使用计数 */
        /* 9.6版本使用原子操作替换了很多字段的功能 */
        pg_atomic_uint32 state;

        int            wait_backend_pid;  /* 等待钉页计数的后端进程PID */

        int            freeNext;          /* 空闲链表中的链接 */

        LWLock         content_lock;      /* 访问缓冲区内容的锁 */
    } BufferDesc;

/* before 9.6*/
   typedef struct sbufdesc
   {
      BufferTag     tag;                   /* 存储在缓冲区中页面的标识 */
      BufFlags      flags;                 /* 标记位 */
      uint16        usage_count;           /* 时钟扫描要用到的引用计数 */
      unsigned      refcount;              /* 在本缓冲区上持有PIN的后端进程数 */
      int           wait_backend_pid;      /* 等着PIN本缓冲区的后端进程PID */
      slock_t       buf_hdr_lock;          /* 用于保护上述字段的锁 */
      int           buf_id;                /* 缓冲的索引编号 (从0开始) */
      int           freeNext;              /* 空闲链表中的链接 */

      LWLockId      io_in_progress_lock;   /* 等待I/O完成的锁 */
      LWLockId      content_lock;          /* 访问缓冲区内容的锁 */
   } BufferDesc;
  • tag 保存着目标页面的buffer_tag,该页面存储在相应的缓冲池槽中。

  • buffer_id 标识了缓冲区描述符,亦相当于对应缓冲池槽的buffer_id。

  • refcount 保存当前访问相应页面的PostgreSQL进程数,也被称为钉数。当PostgreSQL进程访问相应页面时,其引用计数必须自增1(refcount ++)。访问结束后其引用计数必须减1(refcount–)。当refcount为零,即页面当前并未被访问时,页面将取钉,否则它会被钉住。

  • usage_count 保存着相应页面加载至相应缓冲池槽后的访问次数。usage_count会在页面置换算法中被用到。

  • context_lock 和 io_in_progress_lock 是轻量级锁,用于控制对相关页面的访问。

  • flags 用于保存相应页面的状态,主要状态如下:

    • 脏位指明相应页面是否为脏页。
    • 有效位指明相应页面是否可以被读写(有效)。例如,如果该位被设置为 “valid”,那就意味着对应的缓冲池槽中存储着一个页面,而该描述符中保存着该页面的元数据,因而可以对该页面进行读写。反之如果有效位被设置为 “invalid”,那就意味着该描述符中并没有保存任何元数据,即对应的页面无法读写,缓冲区管理器可能正在将该页面换出。
    • IO进行标记位指明缓冲区管理器是否正在从存储中读/写相应页面。换句话说,该位指示是否有一个进程正持有此描述符上的 io_in_pregress_lock。
  • freeNext 是一个指针,指向下一个描述符,并以此构成一个空闲列表(freelist)。

为了简化后续章节的描述,这里定义三种描述符状态。

  • 空:当相应的缓冲池槽不存储页面时,即 refcount 与 usage_count 都是0,该描述符的状态为空。

  • 钉住:当相应缓冲池槽中存储着页面,且有 PostgreSQL 进程正在访问的相应页面时, 即 refcount和 usage_count 都大于等于1,该缓冲区描述符的状态为钉住。

  • 未钉住:当相应的缓冲池槽存储页面,但没有PostgreSQL进程正在访问相应页面时,即 usage_count 大于或等于1,但 refcount 为0,该缓冲区描述符的状态为未钉住。每个描述符都处于上述状态之一。描述符的状态会根据特定条件而改变。

缓冲区描述符层

缓冲区描述符的集合构成了一个数组,本书称该数组为缓冲区描述符层。当 PostgreSQL 服务器启动时,所有缓冲区描述符的状态都为空。在 PostgreSQL中,这些描述符构成了一个名为 freelist 的链表,缓冲区管理器初始状态下图所示。
在这里插入图片描述
下图显示第一页的加载方式:
在这里插入图片描述

  1. 从freelist的头部取一个空描述符,并将其钉住,即将refcount和usage_count增加1。

  2. 在缓冲表中插入新项,该缓冲表项保存了页面buffer_tag与所获描述符buffer_id之间的关系。

  3. 将新页面从存储器加载至相应的缓冲池槽中。

  4. 将新页面的元数据保存至所获取的描述符中。

第二页和后续页面的加载方式类似。

从freelist中摘出的描述符始终保存着页面的元数据。换言之,仍然在使用的非空描述符不会返还到freelist中。但当下列任一情况出现时,描述符状态将变为“空”,并被重新插入至freelist中。

  1. 相关表或索引已被删除。
  2. 相关数据库已被删除。
  3. 相关表或索引已经被VACUUM FULL命令清理。
缓冲池

缓冲池只是一个用于存储关系数据文件(例如表或索引)页面的简单数组。缓冲池数组的序号索引也就是 buffer_id。

缓冲池槽的大小为 8KB,等于页面大小,因而每个槽都能存储整个页面。

缓冲区管理器锁

缓冲区管理器会出于不同的目的使用各式各样的锁,本节将介绍理解后续部分所必备的一些锁。

注意,本节描述的锁,指的是缓冲区管理器同步机制的一部分。它们与SQL语句和SQL操作中的锁没有任何关系。

缓冲表锁

缓冲表锁 BufMappingLock 保护整个缓冲表的数据完整性。它是一种轻量级的锁,有共享模式与独占模式。在缓冲表中查询条目时,后端进程会持有共享的 BufMappingLock。插入或删除条目时,后端进程会持有独占的BufMappingLock。BufMappingLock 会被分为多个分区,以减少缓冲表中的争用(默认为128个分区)。每个BufMappingLock 分区都保护着一部分相应的散列桶槽。

下图给出了一个 BufMappingLock 分区的典型示例。两个后端进程可以同时持有各自分区的 BufMappingLock 独占锁,以插入新的数据项。如果 BufMappingLock 是系统级的锁,那么其中一个进程就需要等待另一个进程完成处理。
在这里插入图片描述
缓冲表也需要许多其他锁。例如,在缓冲表内部会使用自旋锁(spin lock)来删除数据项。不过本章不需要这些锁的其他相关知识,因此这里省略了对其他锁的介绍。

缓冲区描述符相关的锁

每 个 缓 冲 区 描 述 符 都 会 用 到 内 容 锁(content_lock)与 IO 进 行 锁(io_in_progress_lock)这两个轻量级锁,以控制对相应缓冲池槽页面的访问。当检查或更改描述符本身字段的值时,就会用到自旋锁。

内容锁

内容锁(content_lock)是一个典型的强制限制访问的锁,它有共享与独占两种模式。当读取页面时,后端进程以共享模式获取页面相应缓冲区描述符中的 content_lock。执行下列操作之一时,则会获取独占模式的content_lock。

  • 将行(即元组)插入页面,或更改页面中元组的 t_xmin/t_xmax 字段时。
  • 物理移除元组,或压紧页面上的空闲空间(由清理过程和HOT执行)
  • 冻结页面中的元组。
IO进行时锁

IO 进行锁(io_in_progress_lock)用于等待缓冲区上的I/O完成。当PostgreSQL进程加载/写入页面数据时,该进程在访问页面期间,持有对应描述符上独占的io_in_progres_lock。

自旋锁

自旋锁当检查或更改标记字段与其他字段时,例如 refcount和 usage_count,会用到自旋锁。

下面是两个使用自旋锁的具体例子。

  1. 钉住缓冲区描述符。
  • 获取缓冲区描述符上的自旋锁。

  • 将其refcount和usage_count的值增加1。

  • 释放自旋锁

  1. 将脏位设置为"1"。
  • 获取缓冲区描述符上的自旋锁。

  • 使用位操作将脏位置位为"1"。

  • 释放自旋锁。

缓冲区管理器的工作原理

本节介绍缓冲区管理器的工作原理。当后端进程想要访问所需页面时,它会调用ReadBufferExtended函数。函数 ReadBufferExtended 的行为因场景而异,在逻辑上具体可以分为三种情况。每种情况都将用一小节介绍。第四小节将介绍PostgreSQL中基于时钟扫描的页面置换算法。

访问存储在缓冲池中的页面

当从缓冲池槽中的页面里读取行时,PostgreSQL 进程获取相应缓冲区描述符的共享content_lock,因而缓冲池槽可以同时被多个进程读取。

当向页面插入(及更新、删除)行时,该 postgres后端进程获取相应缓冲区描述符的独占content_lock(注意,这里必须将相应页面的脏位置设为"1")。访问完页面后,相应缓冲区描述符的引用计数值减1。
在这里插入图片描述
我们来介绍最简单的情况,即所需页面已经存储在缓冲池中。在这种情况下,缓冲区管理器会执行以下步骤:
(1)创建所需页面的 buffer_tag(在本例中 buffer_tag 是’Tag_C’),并使用散列函数计算与描述符相对应的散列桶槽。

(2)获取相应散列桶槽分区上的 BufMappingLock 共享锁。

(3)查找标签为 ‘Tag_C’ 的条目,并从条目中获取 buffer_id。本例中 buffer_id 为2。

(4)将 buffer_id=2 的缓冲区描述符钉住,即将描述符的 refcount 和 usage_count 增加1。

(5)释放BufMappingLock。

(6)访问buffer_id=2的缓冲池槽。

将页面从存储加载到空槽

下图是将页面从存储加载到空槽的示意图:
在这里插入图片描述
在第二种情况下,假设所需页面不在缓冲池中,且 freelist 中有空闲元素(空描述符)。这时,缓冲区管理器将执行以下步骤:

(1)查找缓冲区表(本节假设页面不存在,找不到对应页面)。

  1. 创建所需页面的 buffer_tag(本例中 buffer_tag 为 ‘Tag_E’ )并计算其散列桶槽。
  2. 以共享模式获取相应分区上的 BufMappingLock。
  3. 查找缓冲区表(根据假设,这里没找到)。
  4. 释放 BufMappingLock。

(2)从 freelist 中获取空缓冲区描述符,并将其钉住。在本例中所获的描述符:buffer_id=4。

(3)以独占模式获取相应分区的 BufMappingLock(此锁将在步骤(6)中被释放)。

(4)创建一条新的缓冲表数据项:buffer_tag=‘Tag_E’, buffer_id=4,并将其插入缓冲区表中。

(5)将页面数据从存储加载至 buffer_id=4 的缓冲池槽中,如下所示:

  1. 以排他模式获取相应描述符的 io_in_progress_lock。

  2. 将相应描述符的 IO_IN_PROGRESS 标记位设置为1,以防其他进程访问。

  3. 将所需的页面数据从存储加载到缓冲池插槽中。

  4. 更改相应描述符的状态,将 IO_IN_PROGRESS 标记位设置为"0",且 VALID 标记位设置为"1"。

  5. 释放 io_in_progress_lock。

(6)释放相应分区的 BufMappingLock。

(7)访问 buffer_id=4 的缓冲池槽。

将页面从存储加载到受害者缓冲池槽

在这种情况下,假设所有缓冲池槽位都被页面占用,且未存储所需的页面。下面两个图是将页面从存储加载到受害者缓冲池槽的示意图。
在这里插入图片描述
在这里插入图片描述
缓冲区管理器将执行以下步骤:

(1)创建所需页面的 buffer_tag 并查找缓冲表。在本例中假设 buffer_tag 是 ‘Tag_M’ (且相应的页面在缓冲区中找不到)。

(2)使用时钟扫描算法选择一个受害者缓冲池槽位,从缓冲表中获取包含着受害者槽位 buffer_id 的旧表项,并在缓冲区描述符层将受害者槽位的缓冲区描述符钉住。本例中受害者槽的 buffer_id=5,旧表项为 Tag_F, id = 5。时钟扫描将在下一节介绍。

(3)如果受害者页面是脏页,则将其刷盘(write & fsync),否则进入步骤(4)。

​ 在使用新数据覆盖脏页之前,必须将脏页写入存储中。脏页的刷盘步骤如下:

1. 获取 buffer_id=5 描述符上的共享 content_lock 和独占 io_in_progress_lock。
2. 更改相应描述符的状态:相应 IO_IN_PROCESS 位设置为"1",JUST_DIRTIED 位设置为"0"。
3. 根据具体情况,调用 XLogFlush() 函数将WAL缓冲区上的WAL数据写入当前WAL段文件(WAL和XLogFlush函数将在第9章中介绍)。
4. 将受害者页面的数据刷盘至存储中。
5. 更改相应描述符的状态;将 IO_IN_PROCESS 位设置为"0",将 VALID 位设置为"1"。
6. 释放 io_in_progress_lock和 content_lock。

以排他模式获取缓冲区表中旧表项所在分区上的 BufMappingLock。

(5)获取新表项所在分区上的 BufMappingLock,并将新表项插入缓冲表:

  1. 创建新表项:由 buffer_tag='Tag_M’与受害者的 buffer_id组成的新表项。

  2. 以独占模式获取新表项所在分区上的 BufMappingLock。

  3. 将新表项插入缓冲区表中。

(6)从缓冲表中删除旧表项,并释放旧表项所在分区的 BufMappingLock。

(7)将目标页面数据从存储加载至受害者槽位,然后用 buffer_id=5 更新描述符的标识字段,将脏位设置为0,并按流程初始化其他标记位。

(8)释放新表项所在分区上的 BufMappingLock。

(9)访问 buffer_id=5 对应的缓冲区槽位。

页面替换算法:时钟扫描

本节的其余部分介绍了时钟扫描算法。该算法是NFU(Not Frequently Used)算法的变体,开销较少,能高效地选出较少使用的页面。我们将缓冲区描述符想象为一个循环列表,如下图所示,缓冲区描述符为黑色或灰色的方框,框中的数字显示每个描述符的 usage_count。而 nextVictimBuffer是一个 32位的无符号整型变量,它总是指向某个缓冲区描述符并按顺时针顺序旋转。
在这里插入图片描述
时钟扫描的伪代码如下:

   WHILE true
      (1)      获取nextVictimBuffer指向的缓冲区描述符
      (2)      IF 缓冲区描述符没有被钉住 THEN
      (3)           IF 候选缓冲区描述符的 usage_count == 0 THEN
                      BREAK WHILE LOOP  /* 该描述符对应的槽就是受害者槽 */
                    ELSE
                        将候选描述符的 usage_count - 1
                    END IF
                END IF
      (4)      迭代 nextVictimBuffer,指向下一个缓冲区描述符
   END WHILE
      (5) RETURN 受害者页面的 buffer_id

该算法的伪代码与算法描述如下:

  1. nextVictimBuffer 指向第一个描述符(buffer_id = 1),但因为该描述符被钉住了,所以跳过。

  2. nextVictimBuffer 指向第二个描述符(buffer_id = 2),该描述符未被钉住,但其 usage_count 为2,因此该描述符的 usage_count 将减1,而 nextVictimBuffer 迭代至第三个候选描述符。

  3. nextVictimBuffer 指向第三个描述符(buffer_id = 3),该描述符未被钉住,但其 usage_count = 0,因而成为本轮的受害者。

当 nextVictimBuffer 扫过未钉住的描述符时,其 usage_count 会减1。因此只要缓冲池中存在未钉住的描述符,该算法总能在旋转若干次 nextVictimBuffer 后,找到一个 usage_count 为 0 的受害者。这样做的好处就是能够优先利用usage_count小的页面。

环形缓冲区

在读写大表时,PostgreSQL 会使用环形缓冲区而不是缓冲池。环形缓冲器是一个很小的临时缓冲区域。当满足下列任一条件时,PostgreSQL 将在共享内存中分配一个环形缓冲区:

  • 批量读取。当扫描关系读取数据的大小超过缓冲池的四分之一时,环形缓冲区的大小为 256 KB。

  • 批量写入,当执行下列 SQL 命令时,环形缓冲区大小为 16 MB。

    • COPY FROM 命令。

    • CREATE TABLE AS 命令。

    • CREATE MATERIALIZED VIEW 或 REFRESH MATERIALIZED VIEW 命令。

    • ALTER TABLE 命令。

  • 清理过程,当自动清理守护进程执行清理过程时,环形缓冲区大小为 256 KB。分配的环形缓冲区将在使用后被立即释放。

环形缓冲区的好处显而易见,如果后端进程在不使用环形缓冲区的情况下读取大表,则所有存储在缓冲池中的页面都会被移除,这会导致缓存命中率降低。环形缓冲区可以避免此问题。

为什么批量读取和清理过程的默认环形缓冲区大小为 256 KB?
源代码中缓冲区管理器目录下的 README 中解释了这个问题。顺序扫描使用 256KB 的环形缓冲区,
它足够小,因而能放入L2缓存中,从而使得操作系统缓存到共享缓冲区的页面传输变得高效。
通常更小一点也可以,但环形缓冲区需要足够大到能同时容纳扫描中被钉住的所有页面。
脏页刷盘

除了置换受害者页面之外,检查点进程和后台写入器进程也会将脏页刷盘至存储中。尽管两个进程都具有相同的功能(脏页刷盘),但是它们有着不同的角色和行为。

检查点进程将检查点记录写入WAL段文件,并在检查点开始时进行脏页刷盘。

后台写入器的目的是通过少量多次的脏页刷盘,减少检查点带来的密集写入的影响。后台写入器会一点点地将脏页落盘,尽可能减少对数据库活动造成的影响。在默认情况下,后台写入器每 200ms 被唤醒一次(由参数 bgwriter_delay 定义),且最多刷写 bgwriter_lru_maxpages个页面(默认为100个页面)。

为什么检查点进程与后台写入器相分离?
在 9.1及更低版本中,后台写入器会规律性地执行检查点进程。在 9.2版本中,检查点进程从后台写入被单独
剥离出来。原因在一篇题为“将检查点进程与后台写入器相分离”的提案中有介绍。
下面是一些摘录:当前(在 2011年)后台写入器进程既执行后台写入,又负责检查点,还处理一些其他的职责。
这意味着我们没法在不停止后台写入的情况下执行检查点最终的fsync。因此,在同一个进程中做两件事会有负面
的性能影响。此外,在9.2版本中,我们的一个目标是通过将轮询循环替换为锁存器,从而降低功耗。
bgwriter中的循环复杂度太高了,以至于无法找到一种简单的使用锁存器的方法。

本文翻译整理自:
https://www.interdb.jp/pg/pgsql08.html

  • 3
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
PostgreSQL是一种开源关系型数据库管理系统,具有高度可扩展性、安全性和可靠性,是许多企业和应用程序的首选数据库。在本指南中,我们将深入探讨PostgreSQL的内部结构和运作方式,以帮助您更好地理解和优化您的数据库。 1. PostgreSQL架构 PostgreSQL的架构由多个进程组成,每个进程都具有特定的任务。以下是PostgreSQL的主要组件: - 后台进程:管理数据库文件、完成备份和恢复操作以及其他管理任务。 - 前台进程:处理客户端请求、执行SQL查询和更新操作。 - 共享缓存:存储常用表和索引的数据块,以提高查询性能。 - 数据文件:存储数据库表和索引的数据。 PostgreSQL的体系结构非常灵活,可以在不同的硬件和操作系统上运行,并且可以根据需要进行配置。 2. 数据库对象 PostgreSQL支持多种类型的数据库对象,包括表、视图、索引、函数、存储过程和触发器等。这些对象可以存储在不同的命名空间中,例如公共命名空间、用户命名空间和模式命名空间。每个对象都有一个唯一的OID(对象标识符),用于在系统中标识它。 3. 数据库事务 PostgreSQL使用多版本并发控制(MVCC)来管理事务,这意味着每个事务都可以看到数据库的某个历史状态。当一个事务更新数据时,它实际上只是在数据库中创建了一个新版本的数据,而不是直接更新现有数据。这使得多个事务可以同时读取和更新相同的数据,而不会相互干扰。 4. 查询处理 PostgreSQL使用优化器来处理SQL查询,选择最有效的执行计划。优化器考虑了多种因素,包括查询条件、表大小、索引可用性和查询类型等。一旦找到最佳执行计划,PostgreSQL就使用执行器执行查询并返回结果。 5. 数据库安全 PostgreSQL提供多种安全功能,包括用户认证、访问控制和加密通信。用户可以通过用户名和密码进行身份验证,并根据需要进行授权。管理员可以使用访问控制列表(ACL)来限制用户对特定数据库对象的访问权限。此外,PostgreSQL还支持SSL和TLS协议来加密数据传输。 总结 PostgreSQL是一个功能强大、高度可扩展和安全的关系型数据库管理系统。它使用多版本并发控制来管理事务,具有灵活的架构和优化器来处理SQL查询,同时提供多种安全功能来保护数据安全。通过深入了解PostgreSQL的内部结构和运作方式,您可以更好地优化和管理您的数据库。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值