云数据库 GaussDB部署形态变更失败如何解决？

最新推荐文章于 2024-10-17 18:58:27 发布

小嗑数据库

最新推荐文章于 2024-10-17 18:58:27 发布

阅读量982

点赞数 26

文章标签：数据库 gaussdb

本文链接：https://blog.csdn.net/Cui_Yuan_666/article/details/142585542

版权

告警解释

云数据库 GaussDB集群变更部署形态失败，产生此告警。

告警属性

告警ID	告警级别	告警类型	告警归属	业务类型	是否可自动清除
5023129	重要	操作告警	租户面	云数据库 GaussDB	是

告警参数

类别	参数名称	参数含义
定位信息	云服务	产生告警的云服务
	系统	产生告警的系统
	模块	产生告警的模块
	实例ID	产生告警的实例ID
	实例名称	产生告警的实例名称
	实例数据IP	产生告警的实例的数据浮动IP列表。在没有数据浮动IP时不展示此字段。
	工作ID	产生告警的工作流ID
附加信息	租户名称	产生告警的租户名称
	实例名称	产生告警的实例名称
	云服务	产生告警的云服务
	服务	产生告警的服务
	微服务	产生告警的微服务
	告警源IP	告警源IP

对系统的影响

如创资源失败，对用户实例不影响，只是有Action锁未释放，其他针对实例的大部分操作无法进行。
如任务流进行到了扩副本任务：ExpandReplicaTaskJob失败，则有可能已对用户业务产生影响。

可能原因

资源不足：创建服务器JOB运行失败，资源管理或IAAS报错。

服务器上初始化实例报错，网络错误及Agent本身报错，内核扩容报错。

处理步骤

使用浏览器，通过地址“https://ManageOne运维面主页的访问地址:31943”，登录ManageOne运维面，或通过地址“https://ManageOne主门户的访问地址”，登录ManageOne主门户，选择“运维中心（OC）”，进入ManageOne运维面。
- 密码方式：输入账号和密码。
  - 默认账号：bss_admin
    对于从8.2.0或更早版本升级上来的ManageOne，默认账号为admin。
  - 默认密码：参见《华为云Stack 8.3.1 账户一览表》的“A类（Portal）”页签中，“ManageOne运维面”账户对应的默认密码。
- USB Key方式：插入已预置用户证书的USB Key，选择设备和用户证书，并输入PIN码。
在“告警 > 告警管理 > 当前告警”中查看集中告警，获取告警中的实例ID或者工作ID。
单击上方菜单栏的“首页”，返回首页。
在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”，跳转到ServiceCM插件列表界面。
在ServiceCM插件列表界面，单击“自助开发平台 > dbs-ops”，进入DBS运维管理平台。
选择“实例运维 > 任务管理”，右上角筛选条件选择“实例ID”或“任务流ID”，输入框中输入上一步获取的实例ID或工作ID，执行搜索。

“失败原因”列输出了失败时的程序错误日志。单击“树表”，则可以查看任务失败具体的环节。
根据6中任务执行结果，定位不同的故障场景操作。
- 场景一：创建服务器失败（CreateServersTaskV2执行失败），根据6中展示的失败概览，分析失败原因。
  - 如果6的失败原因中包含“image not exists”则说明创建服务器所需镜像在环境中不存在。
    修复方案：需要登录DBS运维管理平台，在“实例运维”>“配置管理”>“引擎资源管理”页面中查看服务器镜像ID和ARM镜像ID，并根据镜像ID联系底层人员查看镜像是否存在且正确注册。
  - 如失败原因是资源不足导致的，且用户想要回退此扩容失败操作，请按照以下操作清理资源。
    - 登录DBS运维管理平台。
    - 在“实例管理”的“实例列表”页签查找实例，单击”实例名称”进入实例的基本信息页面。
    - 单击“扩副本失败清理资源”。
- 场景二：创建服务器失败（WaitCreateServersTask执行失败），根据6中展示的失败概览，分析失败原因。
  - 如果6的失败原因中包含“not enough hosts”，则说明服务器资源不足。
    修复方案：联系IaaS对计算资源扩容，然后单击“CreateNodeAndVipJob”Task右侧向下箭头，选择重做，重做“CreateServersTaskV2”操作。
  - 如果6的失败原因中包含“PlacementDiskFilter”，说明没有满足的磁盘资源。
    修复方案：联系IaaS对磁盘资源扩容，然后单击“CreateNodeAndVipJob”Task右侧向下箭头，选择重做，重做“CreateServersTaskV2”操作。
  - 如果6的失败原因中包含“ip address not enough”，则说明IP资源不足。
    修复方案：在虚拟私有云服务页面下释放实例所在子网下的空闲IP，然后单击“CreateNodeAndVipJob”Task右侧向下箭头，选择重做，重做“CreateServersTaskV2”操作。
- 场景三：Agent执行变更部署形态操作失败（ WaitAgentCmdLongerTask执行失败），根据6中展示的失败概览，分析失败原因。
  如果6的失败原因中包含“transport endpoint is not connected”，直接单击“ExpandReplicaTaskJob”Task右侧向下箭头，选择重做，重做“ExpandReplicaTask”操作。
参考下载管理节点日志和收集日志，并收集告警信息，联系技术支持进行处理。

需要下载的日志信息有：

管理侧：
- DBS-GaussDB-backupmanager组件下的日志。
- DBS-GaussDB-instancemanager组件下的日志。
租户侧：

Agent组件下的：
- /home/Ruby/log/agent.log
- /home/Ruby/log/asyncJobResult.dat
GaussDB Kernel组件下的：/var/lib/log/Ruby