告警解释
云数据库 GaussDB 搭建流灾备集群搭建容灾关系后,灾备实例开始数据复制,因数据复制失败,产生该告警。
告警属性
告警ID | 告警级别 | 告警类型 | 告警归属 | 业务类型 | 是否可自动清除 |
---|---|---|---|---|---|
5023071 | 重要 | 操作告警 | 租户面 | 云数据库 GaussDB | 是 |
告警参数
类别 | 参数名称 | 参数含义 |
---|---|---|
定位信息 | 云服务 | 产生告警的云服务 |
系统 | 产生告警的系统 | |
模块 | 产生告警的模块 | |
实例ID | 产生告警的实例ID | |
实例名称 | 产生告警的实例名称 | |
实例数据IP | 产生告警的实例的数据浮动IP列表。在没有数据浮动IP时不展示此字段。 | |
工作ID | 产生告警的工作流ID | |
附加信息 | 租户名称 | 产生告警的租户名称 |
实例名称 | 产生告警的实例名称 | |
云服务 | 产生告警的云服务 | |
服务 | 产生告警的服务 | |
微服务 | 产生告警的微服务 | |
告警源IP | 告警源IP |
对系统的影响
灾备集群启动数据复制失败,而无法搭建正常容灾关系,容灾功能无法使用。
可能原因
- 网络配置错误。
- 灾备集群读取密码失败。
- 备份任务冲突。
- 灾备集群异常。
处理步骤
- 使用浏览器,通过地址“https://ManageOne运维面主页的访问地址:31943”,登录ManageOne运维面,或通过地址“https://ManageOne主门户的访问地址”,登录ManageOne主门户,选择“运维中心(OC)”,进入ManageOne运维面。
- 密码方式:输入账号和密码。
- 默认账号:bss_admin
对于从8.2.0或更早版本升级上来的ManageOne,默认账号为admin。
- 默认密码:参见《华为云Stack 8.3.1 账户一览表》的“A类(Portal)”页签中,“ManageOne运维面”账户对应的默认密码。
- 默认账号:bss_admin
- USB Key方式:插入已预置用户证书的USB Key,选择设备和用户证书,并输入PIN码。
- 密码方式:输入账号和密码。
- 在“告警 > 告警管理 > 当前告警”中查看告警信息,获取告警中的实例ID或者工作ID。
- 单击上方菜单栏的“首页”,返回首页。
- 在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”,跳转到ServiceCM插件列表界面。
- 在ServiceCM插件列表界面,单击“自助开发平台 > dbs-ops”,进入DBS运维管理平台。
- 选择“实例运维 > 任务管理”,右上角筛选条件选择“实例ID”或“任务流ID”,输入框中输入告警定位信息中的实例ID或工作ID,执行搜索。
“失败原因”列输出了失败时的程序错误日志。单击“树表”,则可以查看任务失败具体的环节。
- 根据6中失败的Task,进行不同的操作。
- 场景一:“WaitConfigNetwork4DisasterRecoveryTask” 任务失败。说明当前主实例连接访问对端实例的数据面不通,需要检查主实例与灾备实例面的网络连通性。解决方案:
- 场景二:“ReadMasterPwd4StreamDisasterTask”任务失败。说明灾备集群读取密码失败。
可能因为网络等原因,主的数据同步慢,导致备实例一侧还没获取到密码信息,可优先重试,如果重做仍然失败,执行9。
- 场景三:“CheckActionsDisasterTask”任务失败。说明当前实例存在备份任务,等待备份任务超时。
- 等待备份任务结束后,在任务流失败的校验任务“CheckActionsDisasterTask”重试。
- 如果重做仍然失败,执行9。
- 场景四:“WaitStartStreamDisasterTaskTask”任务失败。说明当前灾备实例异常导致容灾搭建失败,需要检查如下内容。
cm_ctl query -Cvid
如果主集群状态异常,参考如下步骤修复集群。
- 登录实例节点。
- 执行如下命令,导入环境变量。
- 检查集群状态执行如下指令,检查集群状态。
- 如果灾备集群状态异常,登录DBS运维管理平台,找到对应实例,记录实例ID。
- 进入“实例运维 > 通用表操作”页面,根据实例ID搜索实例Action。
- 单击“切换状态”,切换实例Action状态。
- 根据异常组件类型,参考告警 ALM-5012947 云数据库 GaussDB ETCD服务异常 – ALM-5012951 云数据库 GaussDB DN服务异常进行修复。
- 待灾备集群修复完成后,再次切换实例Action。
- 在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”,跳转到ServiceCM插件列表界面。
- 在ServiceCM插件列表界面,单击“自助开发平台 > dbs-ops”,进入DBS运维管理平台。
- 选择“实例运维 > 任务管理”,右上角筛选条件选择“实例ID”或“任务流ID”,输入框中输入告警定位信息中的“工作ID”,执行搜索。NOTICE:
如果灾备实例也有失败告警,需要在灾备实例上同步重做失败的Task。
- 然后单击失败Task右侧向下箭头,选择重做,重做操作。NOTICE:
如果Task名称为“waitxxx”,则需要从上一个Task开始重做,否则直接从失败的Task进行重做。
如果重做仍然失败,执行9。
- 如果当前使用跨云容灾的方式,容灾任务流全部解决完后需处理跨云的任务流,详细内容请参考修复任务下发端主容灾任务。
- 参考收集日志,下载节点日志,并收集告警信息、日志信息和配置信息,联系技术支持进行处理。
需要下载的日志路径如下:
Agent组件下的:
- /home/Ruby/log/agent.log
- /home/Ruby/log/asyncJobResult.dat
GaussDB Kernel组件下的:/var/lib/log/Ruby
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
不涉及。
更多详情请参考GaussDB 文档中心:https://doc.hcs.huawei.com/db/zh-cn/gaussdbqlh/24.1.30/productdesc/qlh_03_0001.html