KingbaseES 数据库WAL日志暴增问题处理

最新推荐文章于 2024-07-26 12:52:45 发布
最新推荐文章于 2024-07-26 12:52:45 发布
阅读量198 收藏 2
点赞数 1
文章标签： 数据库 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyu1026/article/details/140727988
版权

故障现象：

kingbase数据库容量不足100G，业务繁忙程度小，但是每天产生112283个WAL日志，每个日志16M，生成约1.7T的归档日志

分析过程：

思路一：从数据库日志入手，分析过程如下：

sys_log日志：

2024-06-02 23:54:05.497 CST            31303        61b580b0.7a47    18224        2021-12-12 12:55:12 CST        0    LOG    0    checkpoints are occurring too frequently (4 seconds apart)
2024-06-02 23:54:09.025 CST            31303        61b580b0.7a47    18225        2021-12-12 12:55:12 CST        0    LOG    0    checkpoints are occurring too frequently (4 seconds apart)
2024-06-02 23:54:12.763 CST            31303        61b580b0.7a47    18226        2021-12-12 12:55:12 CST        0    LOG    0    checkpoints are occurring too frequently (3 seconds apart)
2024-06-02 23:54:16.491 CST            31303        61b580b0.7a47    18227        2021-12-12 12:55:12 CST        0    LOG    0    checkpoints are occurring too frequently (4 seconds apart)

数据库出现大量的checkpoints are occurring too frequently，怀疑是checkpoint太频繁，加上数据库开启了full page write。如果业务频繁，更改的页面较多，这有可能就是生产wal日志太多的原因。建议调整影响checkpoint动作的参数，减少checkpoint频率，从而达到减少wal日志生产量的效果。

参考参数说明：

  • checkpoint_timeout： 定义：该参数用于指定自上次checkpoint之后经过的时间(以秒为单位)。当超过指定的时间间隔后，系统会执行checkpoint操作。 注意事项：该参数控制的是自动检查点的执行间隔，但检查点还有其他触发机制，如WAL日志数量累积到一定数量时也会触发。设置较大的间隔可能会增加恢复时间，而较小的间隔则可能增加I/O负载。

  • checkpoint_completion_target： 定义：该参数用于指定在执行checkpoint时，系统需要将脏数据刷新到磁盘的百分比目标。 注意事项：如果设置为较低的值，可能会增加checkpoint的频率，但减少了每次checkpoint的I/O负载。如果设置为较高的值，可能会减少checkpoint的频率，但增加了每次checkpoint的I/O负载。这个参数的选择需要根据系统的磁盘性能和负载情况进行权衡。

  • checkpoint_flush_after： 定义：当checkpoint执行时，如果已经刷新了超过该参数指定大小的数据，数据库会尝试强制执行一次OS的文件写(fsync)。 注意事项：这个参数有助于控制checkpoint过程中I/O的均匀分布，避免一次性写入大量数据导致系统负载过高。

  • max_wal_size： 定义：该参数用于指定WAL(Write-Ahead Logging)日志文件的最大大小。当WAL文件大小达到此值时，将触发一个checkpoint，即使checkpoint_timeout还未到期。 注意事项：这个参数与checkpoint_timeout，共同影响checkpoint的频率。如果WAL文件增长迅速，可能需要调整此参数以控制checkpoint的频率。

处理结果：

根据业务调整完成上述参数，发现WAL日志依旧没有减少。

思路二：从WAL日志入手，分析过程如下：

sys_waldump工具分析WAL日志：

每个产生的wal日志内容大部分全是以下内容

rmgr: Heap        len (rec/tot):      8/    54, tx:  147532344, lsn: 7BA/BBF6EF10, prev 7BA/BBF6EED8, desc: LOCK off 44: xid 147532344: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99119/101982 blk 460
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532342, lsn: 7BA/BBF6EF48, prev 7BA/BBF6EF10, desc: LOCK off 13: xid 147532342: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99118/100829 blk 492
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532339, lsn: 7BA/BBF6EF80, prev 7BA/BBF6EF48, desc: LOCK off 44: xid 147532339: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99115/100252 blk 450
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532345, lsn: 7BA/BBF6EFB8, prev 7BA/BBF6EF80, desc: LOCK off 37: xid 147532345: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99116/468640 blk 508
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532341, lsn: 7BA/BBF6EFF0, prev 7BA/BBF6EFB8, desc: LOCK off 57: xid 147532341: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99120/106598 blk 454
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532343, lsn: 7BA/BBF6F028, prev 7BA/BBF6EFF0, desc: LOCK off 5: xid 147532343: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99117/102556 blk 467
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532344, lsn: 7BA/BBF6F060, prev 7BA/BBF6F028, desc: LOCK off 45: xid 147532344: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99119/101982 blk 460
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532342, lsn: 7BA/BBF6F098, prev 7BA/BBF6F060, desc: LOCK off 14: xid 147532342: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99118/100829 blk 492
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532339, lsn: 7BA/BBF6F0D0, prev 7BA/BBF6F098, desc: LOCK off 45: xid 147532339: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99115/100252 blk 450
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532345, lsn: 7BA/BBF6F108, prev 7BA/BBF6F0D0, desc: LOCK off 38: xid 147532345: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99116/468640 blk 508
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532343, lsn: 7BA/BBF6F140, prev 7BA/BBF6F108, desc: LOCK off 6: xid 147532343: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99117/102556 blk 467
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532344, lsn: 7BA/BBF6F178, prev 7BA/BBF6F140, desc: LOCK off 46: xid 147532344: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99119/101982 blk 460
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532342, lsn: 7BA/BBF6F1B0, prev 7BA/BBF6F178, desc: LOCK off 15: xid 147532342: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99118/100829 blk 492
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532339, lsn: 7BA/BBF6F1E8, prev 7BA/BBF6F1B0, desc: LOCK off 46: xid 147532339: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99115/100252 blk 450
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532345, lsn: 7BA/BBF6F220, prev 7BA/BBF6F1E8, desc: LOCK off 39: xid 147532345: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99116/468640 blk 508
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532343, lsn: 7BA/BBF6F258, prev 7BA/BBF6F220, desc: LOCK off 7: xid 147532343: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99117/102556 blk 467
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532344, lsn: 7BA/BBF6F290, prev 7BA/BBF6F258, desc: LOCK off 47: xid 147532344: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99119/101982 blk 460
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532342, lsn: 7BA/BBF6F2C8, prev 7BA/BBF6F290, desc: LOCK off 16: xid 147532342: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99118/100829 blk 492
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532339, lsn: 7BA/BBF6F300, prev 7BA/BBF6F2C8, desc: LOCK off 47: xid 147532339: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99115/100252 blk 450
rmgr: Heap        len (rec/tot):      8/    54, tx:  147532345, lsn: 7BA/BBF6F338, prev 7BA/BBF6F300, desc: LOCK off 40: xid 147532345: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED , blkref #0: rel 1663/99116/468640 blk 508

xlog分析如下：

rmgr: Heap
rmgr代表Resource Manager，即资源管理器。在这里，它是“Heap”，意味着这是一个与堆表相关的操作。

len (rec/tot): 8/54
len代表日志记录的长度。rec是实际日志记录的长度(这里是8字节)，而tot可能是与这条记录相关的总长度(这里是54字节)。

tx: 147532345
这是与这条WAL记录关联的事务ID。

lsn: 7BA/BBF6F108
lsn(Log Sequence Number)是WAL记录的位置。这允许数据库知道在复制或恢复时应该从哪里开始或停止。

prev 7BA/BBF6F0D0
这是前一条WAL记录的位置。它有助于确保在恢复或复制时按照正确的顺序应用记录。

desc: LOCK off 38: xid 147532345: flags 0 LOCK_ONLY EXCL_LOCK KEYS_UPDATED
这部分提供了关于操作的详细描述。
LOCK off 38: 这可能表示锁定的偏移量或其他与锁定相关的信息。
xid 147532345: 这是与锁相关的事务ID，与前面提到的tx相同。
flags 0: 这可能是一个标志字段，用于指示锁的各种属性或行为。在这里，它的值是0，可能表示没有特殊的标志被设置。
LOCK_ONLY: 这可能表示这个WAL记录仅与锁定相关，不涉及数据的实际修改。
EXCL_LOCK: 表示这是一个排他锁(exclusive lock)，意味着其他事务在持有此锁的事务释放锁之前不能访问被锁定的资源。
KEYS_UPDATED: 这可能表示与锁相关的某些键(可能是索引或其他数据结构中的键)已被更新。

blkref #0: rel 1663/99116/468640 blk 508
这部分提供了关于涉及的表和块的详细信息。
rel 1663/99116/468640: 这是被锁定的关系的OID(Object ID)。在数据库中，关系可以是一个表、视图、索引等。这里的OID由三个部分组成：数据库OID(通常是固定的1663，代表系统数据库)、模式OID(在这里是99116)和对象OID(在这里是468640)。
blk 508: 这是被锁定的块号。在堆表中，数据通常被存储在多个块中，每个块都有自己的块号。

总的来说，这条WAL记录描述了一个与特定堆表上的排他锁相关的操作。这个锁可能是在更新某些键或执行其他与锁定相关的操作时设置的。

常见排他锁的场景：

  1. 1.INSERT、UPDATE、DELETE时，它会首先获取这些数据的排他锁，以确保在事务完成之前，没有其他事务可以对这些数据进行写操作或加上其他类型的锁。

  2. SELECT语句中使用FOR UPDATE来显式地获取排他锁，例如SELECT * FROM table_name FOR UPDATE;

问题确认：

由于数据库开启了全日志，可以查看到具体SQL，通过查看0:02--10:37 数据库有 3000多个for update语句，满足条件2

复现场景：

通过for update语句去查询t1表

imagepng

查看生产的相关wal日志信息，与问题wal日志信息一致，问题确认。

imagepng

问题结论

业务在0:02--10:37时间段内，执行了 3000多个for update语句，导致了wal日志猛增。

根本原因

数据库在执行for update的时候，会把所有筛选出来的行都添加一个排他锁，有多少行就会添加多少个排他锁，每个排他锁会在wal日志中记录一条记录，如果select的结果集很大，就会造成wal条数增大，从而增加WAL的生成量。

解决方式及建议

  1. 首先建议业务调整，尽量不适用for update语句，通过对目标数据进行串行dml，或者调整使用for update语句的频率；

  2. 其次建议对for update的结果进行最小化控制，因为wal日志生成量与for update的结果集有关系。

Kingbase 研究院
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
人大金仓KingbaseES 数据库性能调优指南 V8
07-21
KingbaseES 数据库性能调优指南面向所有使用 KingbaseES 的用户，主要是数据库管理员和应用程序开发人员。 随着互联网技术在商业应用中的广泛普及，数据库应用日益庞大复杂，随之数据库性能表现的重要性也越发凸显。...
C#访问kingbasees数据库的DEMO，实现C#对国产金仓数据库的访问
10-17
在IT行业中，数据库是数据存储和管理的核心，而金仓数据库（KingbaseES）作为一款国产的高性能关系型数据库管理系统，被广泛应用于政府、金融、电信等领域。C#作为.NET框架的主要开发语言，自然需要与各种数据库进行...
KingbaseES数据库的WAL日志讲解
weixin_42136504的博客
09-20 817
2、当XLOG记录是其备份块时，应用了另一种重放规则: 无论 LSN 的值如何，记录的数据部分(即页面本身)都将被覆盖到页面上，并将页面的 LSN 更新到 XLOG 记录的 LSN。假设因为操作系统在fsync脏页的过程中出现故障，导致TABLE_A存储上的页面数据损坏，由于 XLOG记录无法在损坏的页面上重放，因此我们需要额外的操作。每当数据库执行了recovery操作，归档文件恢复完成后，创建一个新的时间线用来区别新生成的WAL记录，WAL文件名由时间线和日志序号组成。作，时间线切换到了 2；
金仓数据库KingbaseES在线WAL日志
arthemis_14的博客
04-17 472
KingbaseES数据库WAL日志文件记录数据库的历史操作信息, 包含恢复数据库中的所有事务所需的信息。4.1. 影响wal保存最大个数的参数。4.2. 清理已经归档的wal日志。
KingbaseES在线WAL日志
lyu1026的博客
03-02 366
KingbaseES数据库WAL日志文件记录数据库的历史操作信息, 包含恢复数据库中的所有事务所需的信息。 KingbaseES在线WAL日志： WAL日志： 预写式日志(Write-Ahead Logging(WAL)是保证数据完整性、实现事务日志的一种标准方法。 WAL的主要记录对数据文件的修改(存储着表和索引)，对于数据文件的修改必须在修改动作被日志记录之后才被写入。 当修改动作的...
KingbaseES数据库函数的基本用法
m0_61066945的博客
04-22 1016
函数的基本用法，案例说明
怎样更直观的查看KingbaseES数据库日志
lyu1026的博客
02-28 791
数据库日志相关参数：默认设置 log_destination = 'stderr' # Valid values are combinations of # stderr, csvlog, syslog, and eventlog, # depending o...
KingbaseES数据库审计日志管理
m0_57535484的博客
01-03 1145
任何系统的安全保护措施都不是完美无缺的，蓄意盗窃，破坏数据的人总是想方设法打破控制，审计功能将用户对数据库的所有操作自动记录下来放入审计日志中，审计员（sao）可以通过对审计日志的分析，对潜在的威胁提前采取有效地措施加以防范。语句级别审计：也称为 "STATEMENT AUDITING"，指在 DBMS 范围内，对DBMS拥有的结构或模式对象进行操作时引发的事件进行审计，此类结构或模式对象并不指具体的某个结构或模式对象，而是一类结构或模式对象的泛称。如果在读取审计规则前，就出错，可能无法生成审计记录。
人大金仓数据库KingbaseES WAL日志介绍
arthemis_14的博客
01-15 1065
fsync：控制wal日志刷新是否开启刷新到磁盘，此参数控制wal_sync_method参数的刷新方法；wal_sync_method：wal日志的刷新方法；wal_buffer：wal缓冲区，默认为-1，大小为1/32的share_buffer；wal_writer_delay：表示每隔这么长时间就会刷wal日志缓冲区的数据；commit_delay：提交的延迟时间，如果设置此参数，则会commit后延迟一段时间再进行提交；
KingbaseES数据库bulkload快速导入导出数据
m0_61066945的博客
04-23 1311
数据导入导出的基本用法，高性能方法
安装KingbaseES数据库
m0_61066945的博客
03-29 931
Linux安装KingbaseES数据库详细指导
KingbaseES V8R6 集群环境wal日志清理
lyu1026的博客
05-20 908
案例说明： 1、对于集群中的wal日志，除了需要在备库执行recovery外，在集群主备切换(switchover或failover)时，sys_rewind都要读取wal日志，将数据库恢复到一致性状态。 2、对于集群主备库中的wal日志，在清理时，经过测试，理论上在checkpoint所在的wal日志之前的都可以清理，但这是比较理想的状态，在生产环境中，建议保留3天到一个星期的wal日志，避免...
使用DBeaver客户端连接金仓KingbaseES数据库操作参考.pdf
09-02
使用 DBeaver 客户端连接 KingbaseES 数据库操作参考 以下是使用 DBeaver 客户端连接 KingbaseES 数据库操作的详细参考指南： 1. DBeaver 安装 DBeaver 是免费开源的连接数据库客户端工具，可以在官网 ...
基于Linux系统命令行安装KingbaseES数据库
07-05
人大金仓通用性数据库（Kingbase）下载网址：https://www.kingbase.com.cn/xzzx/index.htm 选择“软件版本-数据库”，筛选条件Linux、完整版。找到需要的版本，点击下载。 具体步骤请看文档。
基于JSP的高校信息资源共享平台
heye0910032的博客
07-22 692
高校信息资源共享平台的开发和实现，为高校信息资源的管理和共享提供了一个有效的解决方案。通过使用JSP技术和MySQL数据库，本系统实现了一个稳定、安全、易用的高校信息资源管理平台。虽然在开发过程中遇到了一些技术挑战，但通过不断学习和实践，最终完成了一个能够满足用户需求的系统。未来，我们将继续优化系统功能，提升用户体验，以期达到更高的应用价值和社会效益。高校信息资源共享平台的开发和实现，为高校信息资源的管理和共享提供了一个有效的解决方案。
秒杀业务: 简单梳理
m0_59925573的博客
07-23 1579
（1）在一人一单优惠券秒杀中，先是解决了因线程安全导致的超卖问题，为了满足一人一单的业务需求需要给查询订单表查询库存表上锁，但是synchronized只能满足单机环境下线程安全，在分布式环境对多个JVM需要使用分布式锁，于是手写分布式锁,但是在极端情况下，例如业务超时，会出现“误删”问题，手写锁无法解决，于是引入redisson,借助看门狗机制可以有效解决这个问题。
家政项目小程序的设计
最新发布
2401_85476437的博客
07-26 312
管理员账户功能包括：系统首页，个人中心，用户管理，家政人员管理，家政服务管理，咨询信息管理，咨询服务管理，家政预约管理，留言板管理，系统管理。主要技术：Java,Spring,mybatis,mysql,jquery,html。服务器：SpringBoot自带 apache tomcat。微信端账号功能包括：系统首页，家政服务，我的。JDK版本：Java JDK1.8。数据库可视化工具： navicat。数据库版本： mysql5.7。开发工具：IDEA(推荐)开发系统：Windows。
图数据库查询与操作指南-以Nebula图数据库为例
DZSpace，专注于计算机科学与技术领域的技术博主，致力于分享实用知识与技巧，帮助读者快速掌握技术要点，共同探索计算机世界的无限可能。欢迎访问DZSpace的博客，一起学习进步！
07-26 138
图数据库查询与操作指南-以Nebula图数据库为例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值