在⼀般的⽣产环境中,数据库都需要开启归档模式,下面这篇文章主要给大家介绍了关于PostgreSQL数据库如何定期清理归档(pg_wal)日志的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下

运行了5个月的数据库，突然发现服务器磁盘快满了，一看是归档日志很大，打算写个脚本在不影响数据库运行的情况下定期清理PostgreSQL中的archive日志。

我的postgresql.conf中的归档日志配置（不做配置的话默认归档日志在pg_wal中）：

1

2


archive_mode = on

archive_command = 'cp %p /home/archive/%f'



1. 清理方法

读取控制文件以确定可以清理的WAL（Write-Ahead Logging）文件范围。可以使用pg_controldata命令来获取这些信息。

1


pg_controldata $PGDATA


将显示当前可以删除的WAL文件的范围。

下图中表示：000000010000003700000007这个文件之前的文件都可以删除了

PostgreSQL数据库如何定期清理归档(pg_wal)日志_归档日志

也可以通过pg_archivecleanup清理（前提是没有配置archive_command路径，使用默认路径pg_log）

执行如下命令将会清除000000010000003700000007之前的所有日志。

1


pg_archivecleanup -d $PGDATA/pg_wal 000000010000003700000007


PS：我自己是直接用下面的脚本清理，很好用！定时任务：每周5的凌晨2点执行

1


0 2 * * 5 cd /home/scripts && ./wal_clean.sh >> ./logfile.log 2>&1



2. 定期清理archive日志脚本

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24


#!/bin/bash

 

# 设置归档目录路径

archive_directory="/home/archive"

TIME="$(date +%Y-%m-%d-%H-%M)"

# 执行pg_controldata命令并提取Latest checkpoint's REDO WAL file的值

result=$(pg_controldata "$PGDATA" | grep "Latest checkpoint's REDO WAL file")

value=$(echo "$result" | awk '{print $6}')

 

# 输出结果

echo "时间：$TIME"

echo "Latest checkpoint's REDO WAL file: $value"

 

#查询15天之前的所有日志，判断是否存在未完成归档日志（一般查询1天以后的日志都是不存在的，根据自己需要修改），都可以直接删除

file=`find $archive_directory -type f -name "000*" -mtime +15 |grep $value`

if [ "$file" != "" ]; then

echo "存在未完成归档的日志，不能删除"

echo $file

exit 1

else

echo "可以清理已完成归档日志操作"

#清理15天以前的归档日志

find $archive_directory -type f -name "000*" -mtime +15 -exec rm {} \;

fi


附:在生产环境中，数据库都需要开启归档模式，那么PG该如何开始归档呢？

PG中归档配置涉及几个参数：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19


# - Archiving - 

 

#是否开启归档 

#archive_mode = off             # enables archiving; off, on, or always 

# (change requires restart) 

 

#归档命令，注意 %p  %f  %% 格式化的含义。 

#%p 是被归档的redo文件的路径，   

#%f 是被归档的redo文档的文件名    

#%% 是百分号 

#archive_command = ''           # command to use to archive a logfile segment 

# placeholders: %p = path of file to archive 

#               %f = file name only 

# e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f' 

 

#超时强制归档，例：如果10分钟数据库都没有什么活动，一个redo文件没有写完，就不会归档， 

#但是我们希望数据库至少10分钟要切换一个日志，则可以使用archive_timeout 

#archive_timeout = 0            # force a logfile segment switch after this 

# number of seconds; 0 disables


1、创建归档目录

1


[pg12@mambapg ~]$ mkdir -p $PGDATA/archive/


2、配置归档相关参数postgresql.conf

1

2

3


wal_level = replica

archive_mode = on

archive_command = 'test ! -f $PGDATA/archive/%f && cp %p $PGDATA/archive/$f'


3、重启数据库，然后查看归档配置是否生效

1


postgres=# select * from pg_settings where name in ('wal_level','archive_mode','archive_command');