KingbaseES V8R6 集群环境wal日志清理

最新推荐文章于 2024-05-20 20:26:39 发布
最新推荐文章于 2024-05-20 20:26:39 发布
阅读量834 收藏 2
点赞数
文章标签： 数据库 database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyu1026/article/details/124893603
版权

案例说明：

1、对于集群中的wal日志，除了需要在备库执行recovery外，在集群主备切换(switchover或failover)时，sys_rewind都要读取wal日志，将数据库恢复到一致性状态。
2、对于集群主备库中的wal日志，在清理时，经过测试，理论上在checkpoint所在的wal日志之前的都可以清理，但这是比较理想的状态，在生产环境中，建议保留3天到一个星期的wal日志，避免因为主备延迟，导致在集群切换时，因为缺少wal日志失败。
3、对于KingbaseES V8R6的集群，如果在主备库上通过sys_backup.sh工具建立了备份，归档日志会自动备份，应该也会随着历史备份的清理，自动被清理。如果节点没有建立sys_backup.sh的备份，可以通过 sys_archivecleanup工具清理，原则也是在生产环境中，建议保留3天到一个星期的归档日志。

数据库版本：

test=# select version;
                                                       version                                                       
------------------------------------------------------------------------------------------------------------------

 KingbaseES V008R006C005B0023 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.1.2 20080704 (Red Hat 4.1.2-46), 64-bit
(1 row)

集群节点信息：

[kingbase@node1 bin]$ cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.8.200   node1   #集群节点node200
192.168.8.201   node2   #集群节点node201

 ID | Name    | Role    | Status    | Upstream | repmgrd | PID   | Paused? | Upstream last seen
----+---------+---------+-----------+----------+---------+-------+---------+--------------------
 1  | node200 | primary | * running |          | running | 29303 | no      | n/a                
 2  | node201 | standby |   running | node200  | running | 29748 | no      | 1 second(s) ago

一、集群switchover切换测试

1、查看主备库控制文件信息

1)主库控制文件

[kingbase@node1 bin]$ ./sys_controldata -D ../data
sys_control version number:            1201
Catalog version number:               202110271
Database system identifier:           7094057752387829054
Database cluster state:               in production
sys_control last modified:             Tue 10 May 2022 12:33:09 PM CST
Latest checkpoint location:           1/29001768
Latest checkpoint's REDO location:    1/29001738
Latest checkpoint's REDO WAL file:    000000030000000100000029
Latest checkpoint's TimeLineID:       3

2)备库控制文件

[kingbase@node2 bin]$ ./sys_controldata -D ../data
sys_control version number:            1201
Catalog version number:               202110271
Database system identifier:           7094057752387829054
Database cluster state:               in archive recovery
sys_control last modified:             Thu 19 May 2022 12:05:06 PM CST
Latest checkpoint location:           1/29001768
Latest checkpoint's REDO location:    1/29001738
Latest checkpoint's REDO WAL file:    000000030000000100000029
Latest checkpoint's TimeLineID:       3

2、清理wal日志(将主备库日志都只保留checkpoint所在的wal日志文件(包括)及以后的)

# 主库保留wal日志

[kingbase@node1 sys_wal]$ ls -lh
total 49M

-rw-------. 1 kingbase kingbase  16M May 10 13:19 000000030000000100000029
-rw-------. 1 kingbase kingbase  16M May 10 13:19 00000003000000010000002A
-rw-------. 1 kingbase kingbase  16M May 10 13:23 00000003000000010000002B
-rw-------. 1 kingbase kingbase   85 May 18 11:28 00000003.history
drwx------. 2 kingbase kingbase  24K May 10 13:19 archive_status
drwxrwxr-x. 2 kingbase kingbase 4.0K May 19 12:58 log_bk

# 备库保留wal日志
[kingbase@node2 sys_wal]$ ls -lh
total 49M
-rw------- 1 kingbase kingbase  16M May 19 12:51 000000030000000100000029
-rw------- 1 kingbase kingbase  16M May 19 12:51 00000003000000010000002A
-rw------- 1 kingbase kingbase  16M May 19 12:55 00000003000000010000002B
-rw------- 1 kingbase kingbase   85 May 18 11:28 00000003.history
drwx------ 2 kingbase kingbase  12K May 19 12:51 archive_status
drwxrwxr-x 2 kingbase kingbase 4.0K May 19 13:00 log_bk

3、执行repmgr standby switchover

1)查看当前集群状态信息

[kingbase@node2 bin]$ ./repmgr cluster show
 ID | Name    | Role    | Status    | Upstream | Location | Priority | Timeline | Connection string                                                                                                                                
----+---------+---------+-----------+----------+----------+----------+----------+----------------
 1  | node200 | primary | * running |          | default  | 100      | 3        | host=192.168.8.200 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3
 2  | node201 | standby |   running | node200  | default  | 100      | 3        | host=192.168.8.201 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3

2)执行switchover

[kingbase@node2 bin]$ ./repmgr standby switchover -h 192.168.8.200 -U esrep -d esrep
WARNING: following problems with command line parameters detected:
......
INFO: unpause node "node201" (ID 2) successfully
NOTICE: STANDBY SWITCHOVER has completed successfully

[kingbase@node2 bin]$ ./repmgr cluster show
 ID | Name    | Role    | Status    | Upstream | Location | Priority | Timeline | Connection string                                                                                                                                
----+---------+---------+-----------+----------+----------+----------+----------+----------------
 1  | node200 | standby |   running | node201  | default  | 100      | 3        | host=192.168.8.200 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3
 2  | node201 | primary | * running |          | default  | 100      | 4        | host=192.168.8.201 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3



执行回切测试：
 [kingbase@node1 bin]$ ./repmgr standby switchover -h 192.168.8.201 -U esrep -d esrep
WARNING: following problems with command line parameters detected:
 
INFO: unpause node "node201" (ID 2) successfully
NOTICE: STANDBY SWITCHOVER has completed successfully

[kingbase@node1 bin]$ ./repmgr cluster show
 ID | Name    | Role    | Status    | Upstream | Location | Priority | Timeline | Connection string                                                                                                                                
----+---------+---------+-----------+----------+----------+----------+----------+----------------
 1  | node200 | primary | * running |          | default  | 100      | 5        | host=192.168.8.200 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3
 2  | node201 | standby |   running | node200  | default  | 100      | 4        | host=192.168.8.201 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3

=== 如上所示，switchover切换成功！====

二、集群 failover 切换测试

1、查看当前集群状态信息

[kingbase@node2 bin]$ ./repmgr cluster show
ID | Name    | Role    | Status    | Upstream | Location | Priority | Timeline | Connection string                                                                                                                                
----+---------+---------+-----------+----------+----------+----------+----------+----------------
1  | node200 | standby |   running | node201  | default  | 100      | 5        | host=192.168.8.200 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3
2  | node201 | primary | * running |          | default  | 100      | 6        | host=192.168.8.201 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3

2、查看主备库控制文件信息

# 主库：
[kingbase@node2 bin]$ ./sys_controldata -D ../data
sys_control version number:            1201
Catalog version number:               202110271
Database system identifier:           7094057752387829054
Database cluster state:               in production
sys_control last modified:             Thu 19 May 2022 01:26:08 PM CST
Latest checkpoint location:           1/409BA150
Latest checkpoint's REDO location:    1/3EADD130
Latest checkpoint's REDO WAL file:    00000006000000010000003E

# 备库：
[kingbase@node1 bin]$ ./sys_controldata -D ../data
sys_control version number:            1201
Catalog version number:               202110271
Database system identifier:           7094057752387829054
Database cluster state:               in archive recovery
sys_control last modified:             Thu 19 May 2022 01:22:19 PM CST
Latest checkpoint location:           1/37000028
Latest checkpoint's REDO location:    1/37000028
Latest checkpoint's REDO WAL file:    000000050000000100000037

3、清理主备库wal日志(将主备库日志都只保留checkpoint所在的wal日志文件(包括)及以后的)

# 主库保留wal日志
[kingbase@node2 sys_wal]$ ls -lh
total 65M
-rw------- 1 kingbase kingbase  16M May 19 13:25 00000006000000010000003E
-rw------- 1 kingbase kingbase  16M May 19 13:26 00000006000000010000003F
-rw------- 1 kingbase kingbase  16M May 19 13:26 000000060000000100000040
-rw------- 1 kingbase kingbase  16M May 19 13:26 000000060000000100000041
-rw------- 1 kingbase kingbase  214 May 19 13:18 00000006.history
drwx------ 2 kingbase kingbase  16K May 19 13:26 archive_status
drwxrwxr-x 2 kingbase kingbase 4.0K May 19 13:30 log_bk


# 备库保留wal日志
[kingbase@node1 sys_wal]$ ls -lh
total 193M
-rw-------. 1 kingbase kingbase  16M May 19 13:17 000000050000000100000037
-rw-------. 1 kingbase kingbase  171 May 19 13:03 00000005.history
-rw-------. 1 kingbase kingbase  16M May 19 13:23 000000060000000100000037
-rw-------. 1 kingbase kingbase  16M May 19 13:24 000000060000000100000038
-rw-------. 1 kingbase kingbase  16M May 19 13:24 000000060000000100000039
-rw-------. 1 kingbase kingbase  16M May 19 13:24 00000006000000010000003A
-rw-------. 1 kingbase kingbase  16M May 19 13:24 00000006000000010000003B
-rw-------. 1 kingbase kingbase  16M May 19 13:25 00000006000000010000003C
-rw-------. 1 kingbase kingbase  16M May 19 13:25 00000006000000010000003D
-rw-------. 1 kingbase kingbase  16M May 19 13:25 00000006000000010000003E
-rw-------. 1 kingbase kingbase  16M May 19 13:25 00000006000000010000003F
-rw-------. 1 kingbase kingbase  16M May 19 13:26 000000060000000100000040
-rw-------. 1 kingbase kingbase  16M May 19 13:26 000000060000000100000041
-rw-------. 1 kingbase kingbase  214 May 19 13:21 00000006.history
drwx------. 2 kingbase kingbase  24K May 19 13:26 archive_status
drwxrwxr-x. 2 kingbase kingbase 4.0K May 19 13:28 log_bk

4、执行failover切换测试

1)关闭主库数据库服务

[kingbase@node2 bin]$ ./sys_ctl stop -D ../data
waiting for server to shut down....... done
server stopped

2)查看切换结果

[kingbase@node1 bin]$ ./repmgr cluster show
 ID | Name    | Role    | Status    | Upstream | Location | Priority | Timeline | Connection string                                                                                                                                
----+---------+---------+-----------+----------+----------+----------+----------+---------------------------------------------------------------------------------------------------------------------------------------------------
 1  | node200 | primary | * running |          | default  | 100      | 7        | host=192.168.8.200 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3
 2  | node201 | standby |   running |          | default  | 100      | 6        | host=192.168.8.201 user=esrep dbname=esrep port=54321 connect_timeout=10 keepalives=1 keepalives_idle=10 keepalives_interval=1 keepalives_count=3

=== 如上所示，failover切换成功！====

三、总结

手工清理wal日志，请参考《KingbaseES 单实例环境wal(xlog)日志清理案例》https://www.cnblogs.com/kingbase/p/16263467.html

Kingbase 研究院
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
KingbaseES V8R2 集群部署手册
11-29
KingbaseES V8R2 集群部署手册。
人大金仓KingbaseES V8R6完整文档
04-27
人大金仓KingbaseES V8R6企业版完整文档压缩包
人大金仓数据库KingbaseES --wal日志
arthemis_14的博客
11-24 1346
Wal日志即writes achead log预写式日志，简称wal日志，是数据库的重要组成部分，存储了数据库系统中所有更改和操作的历史记录，以确保数据库不会因为故障而丢失数据。
springboot+shardingjdbc+hikari+jpa+KingbaseES V8R6
02-25
1：多租户系统集成 2：集成shardingjdbc分库分表 3：集成shardingjdbc读写分离 4：集成人大金仓数据库 5：重写了JPA-saveandflush方法 6：修复了JPA更新数据为null的问题 7：解压后导入idea，创建数据库即可运行测试
人大金仓 KingbaseES V8驱动 kingbase8-8.2.0.jar
11-15
kingbase8-8.2.0.jar
人大金仓数据库V8R6
03-10
人大金仓数据库V8R6 国产数据库安装包
金仓数据库KingbaseES服务器应用参考手册--3. sys_archivecleanup
arthemis_14的博客
08-19 478
sys_archivecleanup— 清理KingbaseES WAL 归档文件。
KingbaseES V8R6集群运维案例之---自动清理集群主库wal日志
lyu1026的博客
10-08 472
​案例说明： 在KingbaseES V8R6 主备流复制的集群，配置复制槽(replication slot)。复制槽提供了一种自动化的方法来确保主控机在所有的后备机收到 WAL 段 之前不会移除它们，并且主控机也不会移除可能导致 恢复冲突的行，即使后备机断开也是如此。 当集群中备库节点长时间宕机后，在主库端会保留大量的wal日志，在没有有效监控的情况下，将容易导致主库磁盘存储空间溢出，造成主...
KingbaseES-v8r6-repmgr集群手动清理wal日志
weixin_37846115的博客
01-02 397
最新检查点的重做日志文件: 00000006000000590000009C。
KingbaseES V8R6 集群运维系列--archive_cleanup_command参数应用
lyu1026的博客
03-02 160
​案例说明： 参数archive_cleanup_command可以配置在kingbase.conf文件中，用于备库清理不在需要的归档日志，参数详细说明见下图：https://postgresqlco.nf/doc/zh/param/archive_cleanup_command/ 适用环境：KingbaseES V8R/R6 集群节点状态： [kingbase@node2 bin]$ ./re...
kingbaseES V8R2 双机部署文档.docx
04-21
金仓数据库V8版本的部署文档 v8 版本需要在Linux 系统下运行 建议使用R2 版本 金仓数据库V8版本的部署文档 v8 版本需要在Linux 系统下运行 建议使用R2 版本
人大金仓 KingbaseES V8 手册 及 sql语法手册
01-18
人大金仓 KingbaseES V8 手册 及 sql语法手册
KingbaseES V8R6备份恢复案例之---sys_waldump解析wal日志PITR恢复
lyu1026的博客
12-12 475
​案例说明： 复现用户删除表(drop table)误操作，通过wal日志解析找到误操作时间点，执行基于时间点的恢复(PITR)。适用版本： KingbaseES V8R6 一、模拟业务现场操作 1、查看当前对象信息 prod=# \d List of relations Schema | Name | Type | Owner...
KingbaseES V8R3集群管理和维护案例之---failover切换wal日志变化分析
lyu1026的博客
08-06 542
​案例说明： 本案例通过对KingbaseES V8R3集群failover切换过程进行观察，分析了主备库切换后wal日志的变化，对应用者了解KingbaseES V8R3(R6) failover切换过程有一定的帮助。 以下为现场案例： failover切换后主备库的wal日志信息： 新主库数据库服务启动故障：(sys_log) =如下所示，在sys_log中，新主库启动startup后，建立...
KingbaseES V8R6运维案例之---sys_waldump解析wal日志
lyu1026的博客
10-08 742
案例说明： wal日志文件记录了，事务操作的redo日志信息，由于wal日志文件是二进制文件，无法直接读取其文件内容。sys_waldump 可以解决这个问题，通过sys_waldump来解析wal 日志来分析和解决一些问题。例如在用户误操作时，可以通过解析wal日志，获取到事务操作的具体时间、xid等，用于建立基于PITR的恢复操作的基线。 Wal日志被划分为多个类型的资源管理器(RMGR)，...
postgresql|【基于pg_basebackup命令的归档备份和恢复---热备冷恢复方式】
zsk_john的技术分享专用博客
03-19 2257
​ 备份： 使用pg_basebackup命令来进行备份，这个命令可以将postgresql的数据文件备份为两个压缩文件：base.tar和 pg_wal.tar。本别是数据文件和归档文件，恢复的时候，需要设置按照归档文件来恢复。那么，此种方式的备份可以备份自定义表空间。 恢复： 需要先把备份的压缩文件替换当前的数据文件，然后修改postgresql.conf，因为这个配置文件在data文件夹中，所以只能是在把base.tar解压到数据库当前数据位置，也就是我们默认初始化指定的数据保存位置data文件
人大金仓数据库的归档日志
码云仓库地址：https://gitee.com/lance-gyq
02-10 2339
通过使用归档日志，可以保留所有WAL日志的历史记录，当数据库处于ARCHIVELOG模式并进行日志切换时，后台进程archiver process会将WAL日志的内容保存到归档日志中，当数据库出现介质失败时，使用数据文件备份、归档日志、在线WAL日志可以完全恢复数据库。通过设置archive_timeout参数，可以让数据库周期性的执行日志切换和归档操作。WAL日志被写满后会触发归档，WAL segment file大小默认为16M。当文件标识archive_artive存在时，则会执行归档命令。
postgresql 手动清理wal日志的101个坑
Hehuyi_In的博客
02-10 3201
新年的第一天，总结下去年遇到的关于WAL日志清理的101个坑，以及如何相对安全地进行清理。前面是关于WAL日志堆积的原因分析，清理相关可以直接看第三部分。
【hackmyvm】Slowman靶机
最新发布
woshicainiao666的博客
05-20 403
发现/secretLOGIN/login.html为登录地址，根据账号密码登录发现一个zip，但是需要密码。在FTP中得到的账号，爆破一下SSH。上传linpeas.sh文件，报一下。SSH爆破无果，试试mysql。得到用户名和加密的密码。
kingbasees v8数据库技术白皮书
07-30
KingbaseES V8是一种基于开源PostgreSQL数据库的企业级数据库管理系统。它被开发为一个高度可扩展和安全的解决方案，适用于各种规模的企业数据处理需求。 KingbaseES V8数据库技术白皮书详细介绍了该数据库系统的特点和优势。下面是一些关键内容： 1. 安全性：KingbaseES V8采用了严格的安全机制来保护数据的机密性和完整性。它支持数据加密、访问控制和安全审计等功能，确保敏感数据不会被未经授权的人员访问。 2. 高可靠性：KingbaseES V8通过提供数据库事务和持久性来确保数据的可靠性。它支持ACID（原子性、一致性、隔离性和持久性）属性，使得数据库在发生故障或中断时能够进行恢复并保持数据的一致性。 3. 高扩展性：KingbaseES V8支持水平和垂直扩展，可以根据业务需求进行灵活的扩展。它能够处理大规模的数据存储和查询，并提供了分布式数据库和集群部署选项。 4. 大数据处理：KingbaseES V8具备处理大数据的能力，通过支持多种数据压缩和索引技术来提高数据存储和查询的效率。同时，它还提供了强大的数据备份和恢复机制，确保在数据发生意外故障时能够及时进行数据恢复。 5. 兼容性：KingbaseES V8与主流数据库标准兼容，可以实现与Oracle、SQL Server等数据库的互通和迁移。这样一来，企业在将原有数据库迁移到KingbaseES V8上时，可以事半功倍地减少迁移成本和风险。 总的来说，KingbaseES V8数据库技术白皮书详细介绍了其作为一种可靠、高效和安全的企业级数据库管理系统的优势和功能。这些特点使得KingbaseES V8成为适用于各种企业规模和数据处理需求的理想选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值