postgresql导入数据pg_wal容量暴涨解决

背景

有一批备份数据需要导入pg的表中，使用copy进行导入

COPY public.date1(c1,c2,c3....) FROM '/var/lib/postgresql/data/tmp/data_backup.txt' WITH DELIMITER E'\t' CSV HEADER ENCODING 'utf-8';

运行一段时间后发现硬盘100%占用
查看data目录发现pg_wal目录占用大部分空间

解决方法

使用命令

pg_controldata

查看Latest checkpoint’s REDO WAL file:000000010000003C00000080
记录这个id备用

执行

pg_archivecleanup /var/lib/postgresql/data/pg_wal/ 000000010000003C00000080

查看空间是否释放,数据库是否恢复

df -h

清理脚本

#!/bin/bash


echo "------------------$(date -u -d @$(($(date +%s)+8*3600)) +'%Y-%m-%d %H:%M:%S')------------------"
initial_capacity=$(df -h /var/lib/postgresql/data | awk '$NF=="/var/lib/postgresql/data" {print $3}')


CHECKPOINT=$(pg_controldata  | grep "Latest checkpoint's REDO WAL file" | awk '{print $6}')
echo "checkpoint:${CHECKPOINT}"
pg_archivecleanup /var/lib/postgresql/data/pg_wal/ ${CHECKPOINT}

echo "clean checkpoint: ${CHECKPOINT}"

final_capacity=$(df -h /var/lib/postgresql/data | awk '$NF=="/var/lib/postgresql/data" {print $3}')

echo "clean result: ${initial_capacity} --> ${final_capacity}"

添加进crontab定时执行即可
如容器安装的pg
在宿主机上定时执行

docker exec postgres14 sh /var/lib/postgresql/data/clean.sh

问题原因

疑似从库同步导致日志未自动清理

加大硬盘！！！