PostgreSQL（十一）WAL日志管理

已于 2024-03-01 16:47:20 修改
阅读量2k 收藏 27
点赞数 24
分类专栏： PG从入门到放弃 文章标签： postgresql 数据库
于 2024-03-01 16:25:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shmily_coco/article/details/136398664
版权
本文详细介绍了PostgreSQL中的WAL日志系统，包括其概念、物理与逻辑结构、数据内部布局、WAL写进程、日志管理策略以及归档日志的连续性和触发机制。重点讲解了WALwriter的工作原理和重要参数设置。
摘要由CSDN通过智能技术生成

目录

一、什么是WAL日志

1、WAL日志的概念

2、WAL日志的作用

二、WAL物理与逻辑结构

1、wal文件的命名规则

2、wal文件的使用规则

三、WAL数据内部布局

1、wal内部存储逻辑（内核）

2、XLOG数据记录的内容（部分，9.5及以后版本）

四、WAL数据写进程

1、写XLOG记录

2、WAL写进程-WAL writer

（1）概念

（2）触发WAL Writer的条件

五、WAL日志管理

1、存储路径

2、存储内容

3、WAL日志切换

（1）WAL segment has been filled up.

（2）The function pg_switch_wal has been issued.

（3）Archive_mode is enabled and the time set to archive_timeout has been exceeded.

4、WAL日志的删除与回收

5、重要参数

（1）控制wal文件数量的参数：

（2）控制wal文件/目录的大小：

六、WAL归档日志

1、连续归档：

2、发生切换时归档图示：

一、什么是WAL日志

1、WAL日志的概念

PG的WAL（Write Ahead Log）日志，意为 预写式日志，特点是先记后做。

例如：假设发生一个update事务，数据库的操作步骤：

（1）将update事务转化为特定格式，形成日志条目，记录至内存中的wal buffer；

（2）从磁盘的数据文件中读取需要update的数据至内存中的buffer cache，然后进行update，得到脏块；

（3）commit这个事务（或满足其他触发条件），wal writer进程将wal buffer中日志条目记录至磁盘的wal文件中；

（4）background writer（后台写进程）将脏块写入磁盘数据文件中。

2、WAL日志的作用

WAL日志主要用于数据库恢复，保证数据库故障时数据不丢失。

具体对比及说明如下：

（1）没有WAL日志时的insert操作过程

在这种情况下，新插入的数据没有写入磁盘时，数据库发生宕机，会导致数据的丢失。

（2）有WAL日志时的insert操作过程

所有的数据块在进行修改时，都在数据缓冲区中进行修改；

所有操作的日志将先记录在日志缓冲区中；

当事务提交之后，日志缓冲区的内容将写入磁盘中的日志文件；

（3）使用wal进行数据库恢复的过程图

此时发生实例崩溃后，虽然数据文件存储层依然没有记录插入的数据，但是可以根据磁盘中wal日志的内容重新将数据插入。

二、WAL物理与逻辑结构

1、wal文件的命名规则

WAL文件的名字是一串24位的数字，具体含义如图：

16兆：可以记录大约几十万的数据日志；

时间线：当对pg数据库进行一次恢复之后，时间线会发生变化（+1），初始值为1；

日志序列号：可用于判断日志循环的次数。当写到日志末尾以FF结尾时（16进制），再次写日志，此值将会+1，初始值为0。

2、wal文件的使用规则

pg为了管理方便，会一次产生多个wal文件，因此并不是文件号最大的文件为当前写入的日志文件。可以用以下方式判断当前事务使用的包含LSN的wal文件名：

（1）9.6及更早版本：select pg_xlogfile_name

（2）10及以后版本：select pg_walfile_name(pg_current_wal_lsn());

三、WAL数据内部布局

1、wal内部存储逻辑（内核）

XLOG record：代表一个事务

2、XLOG数据记录的内容（部分，9.5及以后版本）

（1）backup block：备份块  

（2）XLOG record of INSERT statement：DML操作

（3）XLOG record of CHECKPOINT action：检查点

四、WAL数据写进程

1、写XLOG记录

从WAL buffer写入WAL磁盘段文件内，由WAL writer后台进程执行写。

2、WAL写进程-WAL writer

（1）概念

        WAL writer是一个后台进程，用于定期检查WAL缓冲区，并将所有未写入的XLOG记录写入WAL段。此过程的目的是避免XLOG记录的突发写入。如果未启用此进程，则在一次提交大量数据时，XLOG记录的写入可能会 遇到瓶颈。

        WAL writer默认工作，不能禁用。检查间隔设置由配置参数wal_writer_delay来定，缺省200毫秒。

（2）触发WAL Writer的条件

At commit：一个正在运行的事务已经提交或已中止

WAL buffer full：WAL缓冲区已经填满了许多元组（WAL缓冲区尺寸由参数WAL_buffer设置，缺省16M）

Writes periodically：WAL writer进程定期写入发生

五、WAL日志管理

1、存储路径

$PGDATA/pg_wal/

2、存储内容

WAL中记录的日志条目=事务记录（原始DML SQL ）的格式化

即：不直接记录原始sql，而是转换为pg能看懂的特定格式

3、WAL日志切换

（1）WAL segment has been filled up.

自动切换：当前WAL文件写满后切换下一个，已有WAL文件写满后产生新文件。

（2）The function pg_switch_wal has been issued.

手动切换：通过使用函数pg_switch_wal

#查看当前使用
select pg_walfile_name(pg_current_wal_lsn());
#执行手动切换
select pg_switch_wal();

（3）Archive_mode is enabled and the time set to archive_timeout has been exceeded.

定时强制切换：基于主备复制需求，archive_mode参数已启用，并且已超过设置为archive_timeout的时间。

4、WAL日志的删除与回收

此行为判断基于一个ckpt完成过程：

（1）当前的ckpt所在wal日志及其记录的redo点所在wal日志 区间内，为需要的文件；

（2）在此之前的为废弃的文件。

废弃文件有两种处理方式：

（1）删除不需要的wal文件；

（2）将不需要的wal文件改名为新文件名，原有内容被新的日志条目覆盖（复用此文件）

具体如图示：

5、重要参数

（1）控制wal文件数量的参数：

checkpoint_segments：v9.5之后已废弃

checkpoint_completion_target：使PostgreSQL尽可能慢地去写数据，能在

                                checkpoint_completion_target*checkpoint_timeout的时间内就行，缺省0.5

WAL_keep_segments：当前机器wal日志文件最少保留个数。用于主备复制，为了预防网络原因导致wal日志未传输到备库。

pg_wal目录下的文件数量计算公式：

（（2+ checkpoint_completion_target）* checkpoint_segments+1）

（2）控制wal文件/目录的大小：

max_wal_size：设置wal目录（$PGDATA/pg_wal目录）最大可用，缺省1024MB

wal_segment_size：设置单个wal文件最大可用，缺省16MB

wal_buffers：设置WAL缓冲区最大可用，缺省512KB

六、WAL归档日志

1、连续归档：

在WAL文件切换时，将WAL文件复制到归档区域，由archive（后台）进程执行。复制的文件称为归档日志。

#archive_command：配置存档区域的路径
#占位符%p是复制的WAL段，%f是存档日志
#定义归档路径
ALTER SYSTEM SET archive_command='cp %p /data/postgresql/data/pg_wal/arch/%f';

#开启归档
ALTER SYSTEM SET archive_mode=on;

2、发生切换时归档图示：

忧愁的锅盖儿
关注
  • 24
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Postgresql 如何清理WAL日志
xinyuerr的博客
09-29 1417
本文主要介绍了Postgresql 实现清理WAL日志的方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧WAL是Write Ahead Log的简写，和oracle的redo日志类似，存放在$PGDATA/pg_xlog中，10版本以后在$PGDATA/pg_wal目录.如果开启了归档，在目录archive_status下会有一些文件，以ready结尾的，表示可以归档但还没有归档，done结尾的表示已经归档。123456inmin不超过以下两个公式计算得出的个数1。
PostgresWALReader：测试程序以读取Postgresql WAL日志
02-15
PostgreSQL WAL阅读器 **仍在进行中** 这是一个测试应用程序，可以使用wal2json或test_decoder阅读器读取和处理Postresql WAL日志。 这个想法是为记录处理速度生成性能统计信息，并生成一些有关我们在复制流中接收到的记录的信息。 具体来说，我们想知道跳过了多少条记录（错误的数据库/模式/表）。 我们还希望收集有关实际要处理的交易复杂性的信息。 对test_decoder和wal2json的支持即将到来。 当您使用CTRL-c组合键时，该程序将（最终）生成摘要。 赶上CTRL-C 如果插槽已存在，则处理代码 模式/表的统计信息 支持wal2json 验证插槽名称-不允许使用“-” 确保各种解码器的正确选项 有关交易复杂性的统计信息？
PostgreSQL WAL日志详解
Focus on PostgreSQL
04-24 9382
wal日志即write ahead log预写式日志，简称wal日志。wal日志可以说是PostgreSQL中十分重要的部分，相当于oracle中的redo日志。 当数据库中数据发生变更时： change发生时：先要将变更后内容计入wal buffer中，再将变更后的数据写入data buffer； commit发生时：wal buffer中数据刷新到磁盘； checkpoint发生时：将所有da...
postgresql wal日志相关知识
weixin_69041057的博客
09-24 1142
从上面的流程可以看出，checkpoint 操作已经能保证将 redo point 位点之前的数据落盘了，那 redo point 之前的所有 WAL 日志都已经没有用了（即使下次故障，这部分数据已经被持久化落盘了，也不需要恢复），就可以清理wal日志了。checkpoint是WAL(write-ahead log)日志中的一个位点，在这个点位之前数据库中的所有数据都和WAL日志中反映的信息相同，也就是说该位点之前所有 Shared Buffer 中的脏页均已被刷入到存储磁盘中。
PostgreSQL源码分析——WAL日志（一）
最新发布
让我思考一下
06-19 906
WAL日志对数据库故障恢复，物理备份，事务处理等至关重要，这里我们分析一下WAL日志的相关内容。如果没有WAL日志文件，那么数据库需要在每次更新页面后，刷盘持久化才能提交，频繁的进行刷盘，并且是随机写，而且是整页的写，代价很大。对此，设计了WAL，每次只将对数据页的修改抽象成WAL日志记录，顺序写入WAL日志文件中，这就将随机写变为了顺序写入，并且文件的大小也有所减少，因为绝大部分情况不用整页写入了，减少了刷盘的代价。
postgresql 手动清理wal日志的101个坑
Hehuyi_In的博客
02-10 3421
新年的第一天，总结下去年遇到的关于WAL日志清理的101个坑，以及如何相对安全地进行清理。前面是关于WAL日志堆积的原因分析，清理相关可以直接看第三部分。
Postgresql关于wal日志总结，一文搞清楚它的所有概念和相关操作
热门推荐
lusklusklusk的博客
03-19 1万+
官方文档 https://www.postgresql.org/docs/11/wal-intro.html https://www.postgresql.org/docs/11/wal-configuration.html https://www.postgresql.org/docs/11/runtime-config-wal.html https://www.postgresql.org/docs/11/runtime-config-preset.html https://www.postgresql
postgresql数据库|wal日志的开启以及如何管理
zsk_john的技术分享专用博客
09-30 2592
WAL即Write Ahead Log预写式日志,简称wal日志,相当于oracle中的redo日志。只是oracle中redo是固定几个redo日志文件,然后轮着切换去写入。pg中wal日志是动态切换,单个wal日志写满继续写下一个wal日志，连续不断生成wal日志。（可以简单理解为MySQL里面的binlog日志，虽然运行机制是完全不同的，但两者效果基本是一致的） WAL的主要用途是用于故障恢复，针对数据库的数据insert/delete/update操作都会形成一些列的WAL日志记录，多个WAL日志
postgresql的pg_wal日志
Aiky哇
08-25 7648
个人整理，来源： https://developer.aliyun.com/article/694169 https://www.cnblogs.com/VicLiu/p/11854782.html https://blog.csdn.net/weixin_39540651/article/details/105737136 https://www.cnblogs.com/VicLiu/p/11854782.html 网络上还存在大量的帖子，关于pg_log,xlog,clog 刚刚接触PG.
PostgreSQL数据库WAL总结
qq_58883939的博客
04-26 2945
简单地说，WAL的核心概念是，对数据文件(表和索引所在的地方)的更改必须在写入了日志文件后这些更改之后才可以写入数据文件，也就是说，描述更改的日志记录被刷新到永久存储之后才可以写数据文件。使用WAL可以显著减少磁盘写操作的数量，因为只需要将日志文件刷新到磁盘以确保提交事务，而不是事务更改的每个数据文件。日志文件是按顺序写入的，因此同步日志的成本要比刷新数据页的成本低得多。备注：数据库将脏数据刷到数据文件上,这个动作是随机I/O,性能比写日志的顺序I/O差太多总结
PostgreSQL WAL日志解析工具: wal2json
07-06
而 `wal2json` 是一个专门针对 PostgreSQL WAL 日志的解析工具，它将复杂的二进制 WAL 记录转换为易于理解和处理的 JSON 格式。 `wal2json` 的核心功能在于其能够将 PostgreSQL 的原始 WAL 信息转换为结构化的 JSON...
Internals Of PostgreSQL Wal.pdf
07-03
postgresql大神 代码级讲述WAll文件的构成、产生、使用 是学习postgresql不可缺少的环节 WAL就是预先写入日志，用于数据保全的 跟Oracle的REDO文件是一种意思
WalMiner是从PostgreSQL的WAL日志中解析出执行的SQL语句的工具，并能生成对应的undo SQL语句
06-03
walminer是PostgreSQL的wal日志解析工具，4.0版本摒弃插件模式改为bin模式，现已脱离对目标数据库的编译依赖和安装依赖，一个walminer工具可以解析PG10~PG15的WAL日志。 现已实现的功能为wal2sql、fosync、pgto。 ...
postgresql walsender
05-07
PostgreSQL Walsender PostgreSQL Walsender 是 PostgreSQL 数据库中的一种机制，用于实现数据复制和高可用性。它通过 WAL（Write-Ahead Log）机制来实现数据复制，WAL 是一种日志记录机制，记录了所有对数据库的...
java实时同步postgresql变更数据，基于WAL日志
01-13
综上所述，通过Java结合PostgreSQL的WAL日志，我们可以实现高效、可靠的数据库实时同步。在实际项目中，pgTest这样的示例代码可以帮助我们理解和实现这一过程，进一步提升系统的数据处理能力。理解并熟练掌握这一...
wal2json.so
07-27
postgresql数据库日志解析插件
【PG】PostgreSQL 预写日志(WAL)、checkpoint、LSN
DBA之路的博客
11-13 1896
PostgreSQL 预写日志(WAL)、checkpoint、LSN
postgresql 如何手动清理归档文件（pg_wal）
qq_23986087的博客
04-18 5366
背景 发现数据库宕机，排查原因发现数据磁盘爆满，经排查发现是数据库数据目录下，pg_wal目录占用过大导致。 pg_wal（Write-AHead Logging） 说明 wal日志位置： $PGDATA/pg_wal(pg10之前叫pg_xlog) # #wal日志文件命名规则： #我们看到的wal日志是这样的：000000010000000100000092 #其中前8位:00000001表示timeline； #中间8位：00000001表示logid； #最后8位：00000092表示log
预写日志——WAL
style_boy的博客
07-25 948
预写日志——WAL
postgresql
07-27
PostgreSQL是一种开源的关系型数据库管理系统。它可以在多个操作系统上运行，并提供了强大的功能和性能。在启动PostgreSQL时，可以使用脚本来设置一些选项，如服务器、数据库、端口、用户名和密码等。\[1\] 在运行中的环境中，可以通过查看进程列表来了解与PostgreSQL相关的进程。这些进程包括日志记录器进程、检查点进程、写入进程、WAL写入进程、自动清理进程、归档进程、统计收集进程等。\[2\] PostgreSQL社区非常活跃，每3个月就会发布一个补丁版本，以修复已知的Bug并及时响应用户需求。这使得PostgreSQL成为一个可靠和稳定的数据库选择。\[3\] 与MySQL和Oracle相比，PostgreSQL具有一些独特的特点。例如，PostgreSQL支持更复杂的数据类型和功能，具有更好的扩展性和并发性，并提供更高级的查询优化。此外，PostgreSQL还提供了更好的安全性和可靠性。\[3\] #### 引用[.reference_title] - *1* *2* *3* [PostgreSQL学习总结（1）—— PostgreSQL 入门简介与安装](https://blog.csdn.net/u012562943/article/details/119170289)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值