告警解释
GaussDB手工备份失败,产生此告警。
告警属性
告警ID | 告警级别 | 告警类型 | 告警归属 | 业务类型 | 是否可自动清除 |
---|---|---|---|---|---|
5023502 | 重要 | 操作告警 | 租户面 | 云数据库 GaussDB | 是 |
告警参数
类别 | 参数名称 | 参数含义 |
---|---|---|
定位信息 | 云服务 | 产生告警的云服务 |
系统 | 产生告警的系统 | |
模块 | 产生告警的模块 | |
实例 | 产生告警的实例ID | |
附加信息 | 租户名称 | 产生告警的租户名称 |
实例名称 | 产生告警的实例名称 | |
云服务 | 产生告警的云服务 | |
服务 | 产生告警的服务 | |
微服务 | 产生告警的微服务 | |
告警源IP | 告警源IP |
对系统的影响
对实例业务无影响;手动全量备份失败会导致后续无法用该备份执行恢复。
可能原因
- 实例状态为故障。
- OBS连接异常。
处理步骤
- 参考查看实例操作失败任务,找到任务失败的原因和失败的阶段。
- 如果实例状态为正常,实例存在异常节点,参考《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例”选择“节点修复”或“节点替换”进行修复,解决节点异常问题。
- 如果任务失败在ExportDbStatusCheckTask任务,表明备份失败或者上传失败,需要执行2。
- 如果以上情况都不符,请执行6。
- 参考修改Workflow的Job Context,通过失败Task所在JOB找到requestId。
- 根据2得到的requestId,nodeId,参考收集日志下载日志,在日志中查找错误原因。
需要下载的日志如下:
Agent组件下的:/home/Ruby/log/agent.log
如图所示,check_prev_roach_action时失败,说明是内核备份失败。
- 参考登录实例节点,根据2得到的requestId,nodeId,登录节点。
- 执行如下指令,查看roach日志。
vim $GAUSSLOG/roach/controller/roach-controller***.log
***请替换为实际日期
说明传文件到OBS桶时异常,需要检查OBS桶。
- 检查实例与OBS桶网络连通性。
具体请参考检查实例到OBS网络是否连通,如果是网络不通,请联系网络人员修复OBS网络。
修复后,在修改Workflow的Job Context修改JobContext(exportRequestId,checkExportStatusRequestId)为随机UUID(如:6c55dc44-402b-40b7-9ca2-84ca86746a2a)后在重做Task从“RdsExportDbInitTask”重做即可。
- 检查是否OBS异常。
联系底层人员确定是否OBS满或者OBS故障,修复OBS桶后,在修改Workflow的Job Context修改JobContext(exportRequestId,checkExportStatusRequestId)为随机UUID(如:6c55dc44-402b-40b7-9ca2-84ca86746a2a)后在重做Task从“RdsExportDbInitTask”重做即可。
- 如果从controller日志的报错信息中无法明确问题原因,则打开$GAUSSLOG/roach/agent/目录下的roach-agent日志,找到对应备份时刻点左右的日志,查找报错信息,关键词ERROR。可以在该ERROR日志前后直接找到问题原因。
例如:如果报错信息中包含“Gauss query execution failed;”则说明是数据库进程重启导致备份失败,请检查数据库对应进程是否正常,节点是否正常。
如果仍然失败,请执行6。
- 检查实例与OBS桶网络连通性。
- 参考下载管理节点日志和收集日志,并收集告警信息,联系技术支持进行处理。
需要下载的日志信息有:
管理侧:
- DBS-GaussDB-backupmanager组件下的日志。
- DBS-GaussDB-instancemanager组件下的日志。
租户侧:
Agent组件下的:
- /home/Ruby/log/agent.log
- /home/Ruby/log/asyncJobResult.dat
GaussDB Kernel组件下的:/var/lib/log/Ruby
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
不涉及。
更多详情请参考GaussDB 文档中心:https://doc.hcs.huawei.com/db/zh-cn/gaussdbqlh/24.1.30/productdesc/qlh_03_0001.html