PostgreSQL之wal_keep_segments参数

最新推荐文章于 2024-03-01 16:25:41 发布
最新推荐文章于 2024-03-01 16:25:41 发布
阅读量7.6k 收藏 6
点赞数 1
分类专栏： postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35462323/article/details/115381735
版权
wal_keep_segments参数用于设定pg_wal目录中保留的最小wal文件数量，以保证备用服务器流复制的需求。当备用服务器滞后超过设置值时，可能会导致复制连接中断。在PostgreSQL 13.0中，此参数更名为了wal_keep_size，允许指定WAL的大小而非文件数，反映系统对WAL归档和checkpoint的需要。了解这一参数对于优化数据库备份和恢复策略至关重要。
摘要由CSDN通过智能技术生成

wal_keep_segments：用于指定pg_wal目录中保存的过去的wal文件（wal 段）的最小数量，以防备用服务器在进行流复制时需要。

（参数解释见：https://postgresqlco.nf/doc/zh/param/wal_keep_segments/）

每个wal文件通常为16兆字节。如果连接到发送服务器的备用服务器滞后超过wal_keep_segment个文件，发送服务器可能会删除备用服务器仍然需要的WAL段，在这种情况下流复制连接将被终止。因此，下游连接最终也会失败。(但是，如果使用了WAL归档，备用服务器可以通过从归档中获取段来恢复。)

 

前面说到，wal_keep_segments这只设置了pg_wal中保留的最小数目;  WHY？

因为系统可能需要为WAL归档或者checkpoint(wal_keep_size)保留更多的段。如果wal_keep_segments为0(默认值)，系统不会备用服务器流复制保留任何额外的段，所以备用服务器可用的旧WAL段的数量取决于前一个检查点的位置和WAL归档状态。

注意：postgresql 13.0中，将wal_keep_segments重命名为wal_keep_size，让用户指定WAL大小，而不是WAL文件个数。在PG内核不断演进的过程中，PostgreSQL开发者在逐渐弱化wal段数量（wal文件个数）的概念，并强调wal的size，之前就有checkpoint_segments改变为max_wal_si

最低0.47元/天 解锁文章
PostgreSQL运维技术
关注
专栏目录
Postgresql 如何清理WAL日志
xinyuerr的博客
09-29 1476
本文主要介绍了Postgresql 实现清理WAL日志的方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧WAL是Write Ahead Log的简写，和oracle的redo日志类似，存放在$PGDATA/pg_xlog中，10版本以后在$PGDATA/pg_wal目录.如果开启了归档，在目录archive_status下会有一些文件，以ready结尾的，表示可以归档但还没有归档，done结尾的表示已经归档。123456inmin不超过以下两个公式计算得出的个数1。
PG10.3, wal_keep_segments = 10，为什么从节点pg_wal目录下有时候会有40多个WAL文件？
jiangruihai的博客
09-04 2846
问题描述 PG10.3 配置主从同步流复制：1主+1从，主从节点的的参数wal_keep_segments = 10 。 主节点频频插入数据，在从节点的pg_wal目录下有时候会有40多个WAL文件。 背景 主节点做checkpoint时，会把checkpoint的信息也写到WAL日志中。其中的checkpoint.redo记录了当时的LSN，checkpoint就是保证checkpoint.re...
PostgreSQL参数学习：wal_keep_segments
weixin_34259159的博客
10-07 521
http://www.postgresql.org/docs/9.3/static/runtime-config-replication.html 参考官方文档： wal_keep_segments (integer) Specifies the minimum number of past log file segments kept in the pg_xlog directory,...
postgresql.conf wal_keep_segments
baidu_24377669的博客
07-30 271
PostgreSQL中的WAL保留策略
qq_43687755的博客
10-09 4605
一、背景描述 在PostgreSQL中，我们熟知对于wal日志的保留，有wal_keep_segments这个参数去配置。当主库日志刷新比较快时，我们一般会将这个参数调整为一个比较大的值，来保证从库稳定地进行流复制。 但是有时，我们会发现主库保留的日志远远大于这个参数配置，甚至有些时候会出现日志暴增，存在写满磁盘的风险。 这就涉及到了另外一个机制–复制槽，从官方文档描述来看复制槽提供了一种自动化的方法来确保主库在所有的从库收到 WAL 段 之前不会移除它们。因此wal_keep_segments参数和复制槽
max_wal_size、min_wal_size、wal_keep_segments参数详解
魂醉的一亩二分地
03-23 4263
控制WAL日志的数量由这三个参数控制： max_wal_size min_wal_size wal_keep_segments 而到PG13版本wal_keep_segments改为了wal_keep_size来控制。 假设pg_wal下的文件为： 000000A7000000040000005A 000000A7000000040000005B 000000A7000000040000005C 000000A7000000040000005D 000000A7000000040000005E 000
postgresql数据库 运维 用的 postgresql.conf 参数
yang_z_1的博客
01-13 292
postgresql数据库 运维 用的 postgresql.conf 参数 下面记录我在postgresql数据库运维是用到一些系统参数 （不断更新） 文章目录postgresql数据库 运维 用的 postgresql.conf 参数主从wal_keep_segmentsmax_wal_sizemin_wal_size日志logging_collectorlog_destinationlog_statementlog_min_duration_statementlog_lock_waitsdeadloc
PostgreSQL12主从流复制(实践)
weixin_41800819的博客
05-19 2114
主机：172.21.98.130 从机：172.21.98.131 前面安装按照安装手册实行，并启动主数据服务，从数据库安装好不启动； 在主机上执行； /var/lib/pgsql/12/data/ 修改postgresql.conf wal_level = hot_standby # 这个是设置主为wal的主机 max_wal_senders = 5 # 这个设置了可以最多有几个流复制连接，差不多有几个从，就设置几个 wal_keep_segments = 128 # 设置流复制保留的
postgresql 主从配置_PostgreSQL数据库主从部署
weixin_36012968的博客
01-15 3184
一、基础环境1、操作系统：CentOS 7.32、PostgreSQL：10.33、主节点：192.168.0.101 从节点：192.168.0.102二、部署主从1、安装postgreSQL主节点与从节点均安装postgreSQL，安装方法参考博客：CentOS系统下PostgreSQL数据库安装配置2、配置主从主节点(192.168.0.101)配置(1)创建归档目录mkdir -p /op...
postgresql 13 的 wal_keep_segments 已经取消，改用 wal_keep_size
一名数据库爱好者的专栏
09-25 3370
os: centos 7.4.1708 db: postgresql 13.0 -bash-4.2$ psql psql (13.0) Type "help" for help. postgres=# select name,setting,unit from pg_settings where name like '%wal_keep_segments%'; name | setting | unit ------+---------+------ (0 rows) postgres=# sel
PostgreSQL（十一）WAL日志管理
最新发布
shmily_coco的博客
03-01 2439
PG的WAL（Write Ahead Log）日志，意为 预写式日志，特点是先记后做。例如：假设发生一个update事务，数据库的操作步骤：（1）将update事务转化为特定格式，形成日志条目，记录至内存中的wal buffer；（2）从磁盘的数据文件中读取需要update的数据至内存中的buffer cache，然后进行update，得到脏块；（3）commit这个事务（或满足其他触发条件），wal writer进程将wal buffer中日志条目记录至磁盘的wal文件中；
PostgreSQL之WAL段文件管理
数据源的港湾
04-03 1491
在前面我们了解了PG数据库的故障恢复依赖于在启动时通过回放WAL段文件中的XLOG记录来完成，这篇我们学习一下PG数据库中WAL段文件是怎么管理的。首先，我们需要知道WAL段文件是保存在pxg_xlog（PG V10版本以前，在PG V10版本以后变成 pg_wal）子目录下，如果一个WAL段文件写满后就会切换到一个新的段文件。总的WAL段文件个数由几个配置参数决定的。此外，对于WAL段文件的管理机制在PG 9.5版本得到了提升。
max复制关键帧到不同的文件_彭占元|如何排除PostgreSQL WAL 文件数量长期持续增加？...
weixin_39664696的博客
11-24 245
点击蓝字关注我们作者简介彭占元2018年8月加入去哪儿网，现负责公司 PostgreSQL/GreenPlum 运维工作，对数据库日常运维和日常调优有大量优化实践经验。1. 提出问题最近遇到一个自己运维 DB 的开发同学反馈："我们的业务量较小，但现在数据库积累了大量的 WAL， 一个月的时间 pg_wal 目录和归档的目录均超过了80GB， 且 WAL 增长的速度较快，由于虚拟机的磁盘...
【青梅资讯】VMware Greenplum 7 Beta.2 版本已正式发布
Greenplum中文社区
03-23 380
...
2021-09-30
weixin_44577828的博客
09-30 1299
专用机Kingbase Flysync 安装教程1基本环境部署1.1上传安装包及签名文件1.2软件安装1.3修改操作系统参数配置文件1.3.1执行 vim /etc/security/limits.conf 并在文段末尾添加如下信息1.3.2执行 vim /etc/sysctl.conf 并在文段末尾追加写入如下信息1.3.3执行vim/opt/Kingbase/ES/V8/data/kingbase.conf2安装前准备2.1防火墙2.2操作系统参数配置2.2.1执行 vim /etc/security
Centos7部署PostgreSQL 12集群（主备）
sunny05296的博客
10-27 8017
Centos7部署PostgreSQL 12集群（主备） 关于备份模式 常规的备份模式有三种：热备、冷备和双活。 热备：仅主节点承担用户的业务、提供数据库服务，在不关闭数据库服务（不停服）的情况下对主节点进行备份。 为了保证数据库服务的正常不间断运行，一般用两台机器作为数据库服务机器。其中一台用于实际数据库操作应用、提供数据库服务，而另外一台则实时从前者中获取数据以保持数据的一致性。 如果当前的主节点故障宕机，当前的备节点机器立马（人为手动触发或由配置自动触发）取代当前的主节点机器继续提...
gaussdb 数据库参数说明【双机复制参数设置】【06】
qq_42226855的博客
09-24 1042
1. 发送端服务器设置 这些参数在主机或者在作为数据发送端的备机上设置。 max_wal_senders 参数说明：指定事务日志发送进程的并发连接最大数量。 注意： wal_level 必须设置为archive或者hot_standby以允许备机的连接。 取值范围： 整型， 0～8388607 默认值：4 wal_keep_segments 参数说明：设置pg_xlog目录下保留事务日志文件的最小数目，备机通过获取主机的日志进行流复制。 注意： 当服务器开启日志归档或者从检查点恢复时，保留的日志文
PG数据库wal日志空间异常
三思的博客
09-26 2156
文章目录问题描述处理思路处理过程 问题描述 PG数据库实例磁盘空间使用率高达97%，其中wal空间使用量占用32G，相对比较异常。 处理思路 wal日志是PG数据库的事务预写日志，对于数据库的一个变更操作，数据库流程大概如下： ● 客户端执行DML操作进行数据变更 ● 将相关的变更数据页写入wal buffer，对应的数据更新写到内存中的数据页（脏页） ● 事务commit时，wal buffer进行刷盘，写入到wal log，该步骤已经保证了数据不会丢失 ● 周期性checkpoint出发将内存中的脏页
postgresql 9.5 主主复制详细步骤
05-16
PostgreSQL 9.5支持主主复制，下面是详细的步骤： 1. 确保两个PostgreSQL服务器上都已经安装了9.5版本的PostgreSQL。 2. 在两台服务器上都创建一个数据库，假设它们的名称分别为db1和db2。 3. 在主服务器db1上修改postgresql.conf文件，启用复制功能。找到以下行并将其取消注释： ``` #listen_addresses = 'localhost' # what IP address(es) to listen on; # comma-separated list of addresses; # defaults to 'localhost'; use '*' for all # (change requires restart) #wal_level = minimal # minimal, archive, hot_standby, or logical #max_wal_senders = 0 # max number of walsender processes # (change requires restart) #wal_keep_segments = 0 # in logfile segments, 16MB each; 0 disables ``` 将其修改为： ``` listen_addresses = '*' wal_level = hot_standby max_wal_senders = 10 wal_keep_segments = 500 ``` 其中，listen_addresses设置为通配符，表示接受任何IP地址的数据包；wal_level设置为hot_standby，表示开启热备；max_wal_senders设置为10，表示最大允许10个数据流发送到备份服务器；wal_keep_segments设置为500，表示保留的wal文件数目。 4. 在主服务器db1上修改pg_hba.conf文件，确保允许从备份服务器上访问主服务器。找到以下行并将其取消注释： ``` # IPv4 local connections: host all all 127.0.0.1/32 md5 ``` 将其修改为： ``` host all all 0.0.0.0/0 md5 ``` 其中，0.0.0.0/0表示允许任何IP地址的数据包访问。 5. 在主服务器db1上创建一个复制用户，用于从备份服务器上访问主服务器。执行以下命令： ``` CREATE USER replication_user REPLICATION LOGIN CONNECTION LIMIT 10 ENCRYPTED PASSWORD 'your_password'; ``` 其中，replication_user是自定义的用户名，your_password是自定义的密码。 6. 在备份服务器db2上修改postgresql.conf文件，启用复制功能。找到以下行并将其取消注释： ``` #listen_addresses = 'localhost' # what IP address(es) to listen on; # comma-separated list of addresses; # defaults to 'localhost'; use '*' for all # (change requires restart) #wal_level = minimal # minimal, archive, hot_standby, or logical #max_wal_senders = 0 # max number of walsender processes # (change requires restart) #wal_keep_segments = 0 # in logfile segments, 16MB each; 0 disables ``` 将其修改为： ``` listen_addresses = '*' wal_level = hot_standby max_wal_senders = 10 wal_keep_segments = 500 hot_standby = on ``` 其中，listen_addresses设置为通配符，表示接受任何IP地址的数据包；wal_level设置为hot_standby，表示开启热备；max_wal_senders设置为10，表示最大允许10个数据流发送到备份服务器；wal_keep_segments设置为500，表示保留的wal文件数目；hot_standby设置为on，表示开启热备模式。 7. 在备份服务器db2上修改recovery.conf文件，用于指定备份服务器从主服务器上复制数据。在文件中添加以下内容： ``` standby_mode = 'on' primary_conninfo = 'host=<主服务器IP地址> port=5432 user=replication_user password=<replication_user的密码>' trigger_file = '/tmp/postgresql.trigger' ``` 其中，<主服务器IP地址>是主服务器的IP地址，replication_user的密码是步骤5中自定义的密码。 8. 将主服务器db1上的数据复制到备份服务器db2上。在备份服务器上执行以下命令： ``` pg_basebackup -h <主服务器IP地址> -D /var/lib/postgresql/9.5/main -U replication_user -P ``` 其中，<主服务器IP地址>是主服务器的IP地址，/var/lib/postgresql/9.5/main是备份服务器上数据存放的目录，replication_user是步骤5中自定义的用户名。 9. 在备份服务器db2上启动PostgreSQL服务。执行以下命令： ``` systemctl start postgresql ``` 10. 在主服务器上创建一个测试数据库，例如testdb，并向其中添加一些数据。 11. 在备份服务器db2上查看是否成功复制数据。执行以下命令： ``` psql -U postgres -c "select datname from pg_database;" ``` 如果看到testdb，则表示备份服务器上已经成功复制了主服务器上的数据。 以上就是PostgreSQL 9.5主主复制的详细步骤。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值