PostgreSQL WAL 文件中时间线与如何进行标识

最新推荐文章于 2024-07-25 07:31:22 发布
最新推荐文章于 2024-07-25 07:31:22 发布
阅读量618 收藏 8
点赞数 4
文章标签： postgresql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuhuayang/article/details/136958271
版权

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，（共2150人左右 1 + 2 + 3 + 4 +5） 新人奖直接分配到5群,另欢迎 OpenGauss 的技术人员加入。

762e5446d3c1a71e5001a6ce3af87187.png

PostgreSQL 中可以通过时间线的概念在日志中标记数据库中操作的一切。通过调用pg_controldata，查看当前的数据库的wal日志正在使用的是哪个，这里的是 000000010000000000000012 。但注意看下面两个部分，非常短的时间，WAL日志有了变化，这里我做了一个操作，恢复数据库。今天的讨论就从恢复数据库后的 history 文件开始。

root@pg16:~# su - postgres
postgres@pg16:~$ pg_controldata
pg_control version number:            1300
Catalog version number:               202307071
Database system identifier:           7309003792944632868
Database cluster state:               in production
pg_control last modified:             Wed 06 Mar 2024 08:59:38 AM UTC
Latest checkpoint location:           0/120000C0
Latest checkpoint's REDO location:    0/12000088
Latest checkpoint's REDO WAL file:    000000010000000000000012
Latest checkpoint's TimeLineID:       1
Latest checkpoint's PrevTimeLineID:   1
Latest checkpoint's full_page_writes: on
Latest checkpoint's NextXID:          0:770
Latest checkpoint's NextOID:          16400
Latest checkpoint's NextMultiXactId:  1
Latest checkpoint's NextMultiOffset:  0
postgres@pg16:/pgdata/data/pg_wal$ pg_controldata
pg_control version number:            1300
Catalog version number:               202307071
Database system identifier:           7309003792944632868
Database cluster state:               in production
pg_control last modified:             Wed 06 Mar 2024 09:05:38 AM UTC
Latest checkpoint location:           0/15000028
Latest checkpoint's REDO location:    0/15000028
Latest checkpoint's REDO WAL file:    000000020000000000000015
Latest checkpoint's TimeLineID:       2
Latest checkpoint's PrevTimeLineID:   1
Latest checkpoint's full_page_writes: on
Latest checkpoint's NextXID:          0:771
Latest checkpoint's NextOID:          16400
Latest checkpoint's NextMultiXactId:  1
Latest checkpoint's NextMultiOffset:  0
Latest checkpoint's oldestXID:        722
Latest checkpoint's oldestXID's DB:   1
Latest checkpoint's oldestActiveXID:  0
Latest checkpoint's oldestMultiXid:   1
Latest checkpoint's oldestMulti's DB: 1

b53464e803c7525222e533cdfb75ed1a.png

postgres@pg16:/pgdata/data/pg_wal$ cat 00000002.history 
1 0/15000000 no recovery target specified
postgres@pg16:/pgdata/data/pg_wal$ 
postgres@pg16:/pgdata/data/pg_wal$

在history文件里面存储这一些文字内容，而这些文字的内容到底是干什么的，我们为了去获得更多的内容，

postgres@pg16:/pgdata/data$ cd pg_wal/
postgres@pg16:/pgdata/data/pg_wal$ ls
000000030000000000000015  000000030000000000000017  archive_status
000000030000000000000016  00000003.history
postgres@pg16:/pgdata/data/pg_wal$ 
postgres@pg16:/pgdata/data/pg_wal$ 
postgres@pg16:/pgdata/data/pg_wal$ cat 00000003.history 
1 0/15000000 no recovery target specified
postgres@pg16:/pgdata/data/pg_wal$

在操作完毕，里面的内容没有变，但是编号变了。变成了0000003.history

postgres@pg16:/pgdata/data$ cd pg_wal/
postgres@pg16:/pgdata/data/pg_wal$ ls
00000003.history          000000040000000000000019  00000004.history
000000040000000000000018  00000004000000000000001A  archive_status
postgres@pg16:/pgdata/data/pg_wal$ cat 00000004.history 
1 0/15000000 no recovery target specified

3 0/18000000 no recovery target specified
postgres@pg16:/pgdata/data/pg_wal$ ls
00000003.history          000000040000000000000019  00000004.history
000000040000000000000018  00000004000000000000001A  archive_status
postgres@pg16:/pgdata/data/pg_wal$

当我这次备份数据库，后在进行恢复，给我的信息和之前又不一样，那么问题来了，为什么每次在数据库恢复后，都会多一个history文件，他的功能是什么，同时为什么每次恢复一次数据库，其中的0000000？会有变化每次恢复后都会加1 ，这些问题都是怎么回事。

实际上在上面提出的第一个问题，这个位置的数字相当于WAL中的分歧点，代表一个数据库恢复后的WAL开始的LSN的分歧。

例如：pg_wal/000000010000000000000001，表示这个 WAL 段属于时间线 ID = 1以及pg_wal/000000020000000000000001，表示这个 WAL 段属于时间线 ID = 2

上马的例子就说明这个数据库恢复过一次，所以从1变成2了. 他这里有点像git的分支，但是不能合并的那种，

那么为什么会这样，我们可以理解为数据库最早的时间线是ID 1 ，后面所有的数据都是在时间线1 上进行的当我们备份数据库后在数据库上进行恢复后，则创建了时间线2 ，此后的操作都是属于时间线2的，每次进行备份后恢复都会创建新的时间线。

那么当恢复数据库的时候，会在数据库中的pg_wal 中建立一个新.history 的文件，该文件描述了回放数据库中的分歧点，如果没有这个文件就无法确定数据恢复的时间线的来源，也就无法确定PITR的恢复的相关需要的信息。通过这样的概念，如果有相同的LSN号，或相同的WAL存在多个时间线中，在数据恢复中会根据当前的时间轴来进行数据的恢复。

这点在PG中非常重要尤其适用通过archive 来对WAL日志进行归档的情况下，归档文件中可能会存在多个时间线的wal 文件，通过确定是否是一个时间线来进行数据的恢复。

35233125bf291b419dfc78479d42b416.png

PostgreSQL启动恢复期间，恢复到的时间线的确定
帅的数说
08-12 1039
1、启动恢复时，确定恢复到的时间线recoveryTargetTLI     1）归档恢复点比checkpoint中记录的时间线大，那么选择归档恢复点作为目标时间线     2）否则，checkpoint记录中的时间线作为目标时间线 StartupXLOG-> if (ControlFile->minRecoveryPointTLI > ControlFile->...
PostgreSQL时间线
以前冷现在热
12-11 1408
PostgreSQL时间线时间线的引入wal日志名解析新时间线的出现场景history文件 时间线的引入 如果没有时间线，会有什么问题？先举个将数据库恢复到以前时间点的例子。 假设在一个数据库的运行过程中，DBA在周三12:00AM删掉了一个关键的表，但是直到周五中午才发现这个问题。这个时候DBA拿出最初的数据库备份，加上存在归档目录的日志文件，将数据库恢复到周三11:00AM的时间点，这样就能...
postgresql的时间线
深海微澜
05-07 635
参考：http://mysql.taobao.org/monthly/2015/07/03/ https://wiki.postgresql.org/images/e/e5/FOSDEM2013-Timelines.pdf 在做即时恢复时，为了能支持恢复到任意时间点，引入了时间线的概念。 每当存档恢复完成时，就会创建一个新的timelineis来标识恢复后生成的一系列WAL记录。时间轴...
PostgreSQL 时间线解析
weixin_33943836的博客
12-21 727
“时间线”（Timeline）是PG一个很有特色的概念，在备份恢复方面的文档里面时有出现。但针对这个概念的详细解释却很少，也让人不太好理解。我们在此仔细解析一下。 时间线的引入 为了理解引入时间线的背景，我们来分析一下，如果没有时间线，会有什么问题？先举个将数据库恢复到以前时间点的例子。假设在一个数据库的运行过程中，DBA在周三12:00AM删掉了一个关...
PostgreSQL timeline时间线
qq_38437948的博客
03-04 1432
介绍了PostgreSQL中时间线的概念
postgreSQL 时间线
m15217321304的博客
04-03 951
“时间线”（Timeline）是PG一个很有特色的概念，在备份恢复方面的文档里面时有出现。但针对这个概念的详细解释却很少，也让人不太好理解，我们在此仔细解析一下。 时间线的引入 为了理解引入时间线的背景，我们来分析一下，如果没有时间线，会有什么问题？先举个将数据库恢复到以前时间点的例子。假设在一个数据库的运行过程 中，DBA在周三12:00AM删掉了一个关键的表，但是直到周五中午才发现这个问题...
PostgreSQL源码分析——WAL日志（一）
内核思考
06-19 1233
WAL日志对数据库故障恢复，物理备份，事务处理等至关重要，这里我们分析一下WAL日志的相关内容。如果没有WAL日志文件，那么数据库需要在每次更新页面后，刷盘持久化才能提交，频繁的进行刷盘，并且是随机写，而且是整页的写，代价很大。对此，设计了WAL，每次只将对数据页的修改抽象成WAL日志记录，顺序写入WAL日志文件中，这就将随机写变为了顺序写入，并且文件的大小也有所减少，因为绝大部分情况不用整页写入了，减少了刷盘的代价。
postgresql lsn与wal file的对应关系
weixin_41561946的博客
05-30 887
系统环境： PostgreSQL 11.6 查看当前的LSN和wal 名称 postgres=# select pg_current_wal_lsn(),pg_walfile_name(pg_current_wal_lsn()); pg_current_wal_lsn | pg_walfile_name --------------------±------------------------- 4/D20001B0 | 0000000100000004000000D2 对应关系 L
腾讯云TDSQL PostgreSQL WAL日志清理
weixin_43872058的博客
08-11 549
作者崔鹏,曾获得中国PostgreSQL数据库管理高级工程师(PGCM),是PostgreSQL官方认证讲师,Mysql 5.7/8.0 OCP,Oracle 11g OCM。 WAL是Write Ahead Log的简写,10版本以后在$PGDATA/pg_wal目录中 10之前的版本在$PGDATA/pg_xlog. wal相关参数 #wal_compression = off 如果当全页写成为io瓶颈时，可以设置为on #wal_log_hints = off 如果使用pg_rewind，需要设置为o
PostgreSQL的xlog/Wal归档及日志清理
PostgreSQL China
08-03 2490
作者：阎书利 xlog/wal日志 类似于Oracle的redo，PostgreSQL的redo文件被称为WAL文件或XLOG文件，存放在PGDATA/pgxlog或（PGDATA/pg_xlog或（PGDATA/pgx​log或（PGDATA/pg_wal）目录中（PostgreSQL从10版本开始，将所用xlog相关的全部用wal替换了）。任何试图修改数据库数据的操作都会写一份日志到磁盘。 本文举例的数据库版本为（PostgreSQL）11.5 wal命名格式文件名称为16进制的24个字符组成，每8个
PostgreSQL时间线(timeline)和History File
Focus on PostgreSQL
12-15 4271
说明： 在pg中，当我们进行了基于时间点的还原(PITR)后，数据库会启用新的时间线并继续进行操作。 但是，当我们进行基于时间点的还原后如果发现又出现错误，想要继续还原数据库该如何操作呢？如何还原到原先旧的时间线呢？ 我们可以使用recovery_target_timeline参数来指定数据库还原到某一个时间线上。如果你还不清楚这个参数该如何使用，或者说压根不知道时间线是啥，那么请继续往下看。 PostgreSQL 时间线： 每当我们在数据库中完成一个事务时，所做的操作都会记录到$PGDATA/pg_wal
转载：PostgreSQL时间线的实现
晨风
09-13 1394
来自：http://zisedeqing.blog.163.com/blog/static/95550871201481115942717/、 1.1    基本原理 正常情况下，数据库是沿着一条时间线一直延伸的，但是如果中途，用户期望从归档中进行恢复，则这时数据库的时间线就会产生分支，沿着新的时间线延伸。如下图所示： 1.2    基本流程 使用时间线进行恢复的基本流程是： 1.
《PostgreSQL 指南：内幕探索》之基础备份与时间点恢复（下）
Enmotech的博客
06-30 680
墨墨导读：最近电子工业出版社博文视点出版了《PostgreSQL指南：内幕探索》，日前「数据和云」公众号推荐了这本书并赠送了五本，百多位用户参与，几十条留言未能放出，为了...
从零开始学PostgreSQL (六)： 备份和恢复
最新发布
qq_34692500的博客
07-25 714
目录1. SQL 转储1.1. 恢复转储1.2. 使用 pg_dumpall1.3. 处理大型数据库2. 文件系统级备份3. 连续存档和时间点恢复 （PITR）3.1. 设置 WAL 归档3.2. 进行基础备份3.3. 使用低级 API 进行基础备份3.4. 使用连续归档备份进行恢复3.5. 时间线3.6. 提示和示例3.7. 注意事项概述PostgreSQL 提供了多种备份和恢复策略，旨在满足不...
postgresql的pg_wal日志
Aiky哇
08-25 8063
个人整理，来源： https://developer.aliyun.com/article/694169 https://www.cnblogs.com/VicLiu/p/11854782.html https://blog.csdn.net/weixin_39540651/article/details/105737136 https://www.cnblogs.com/VicLiu/p/11854782.html 网络上还存在大量的帖子，关于pg_log,xlog,clog 刚刚接触PG.
pg 崩溃恢复篇（二）—— WAL文件结构及管理
Hehuyi_In的博客
11-13 4791
第二篇我们来看WAL文件逻辑、物理结构以及管理方法 一、 事务日志和WAL文件 在逻辑上，pg用一个地址空间长度为8B的虚拟文件表示事务日志（最大可达16EB）。 在物理上，pg中的事务日志默认切分为16 MB的文件，每个文件称为WAL段。pg 11开始，使用initdb命令初始化时可以使用–wal-segsize选项配置WAL段文件的大小。 WAL文件名由24个十六进制数组成，命名规...
WAL日志文件名称格式详解
dimawei2225的博客
05-09 500
转自：http://blog.osdba.net/534.html WAL日志文件名称格式详解 PostgreSQL的WAL日志文件在pg_xlog目录下，一般情况下，每个文件为16M大小： osdba-mac:~ osdba$ ls -l $PGDATA/pg_xlog total 262144 -rw------- 1 osdba osdba ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>