ALM-5012950 云数据库 GaussDB CN服务异常

对系统的影响

• 主备版实例没有该告警。
• 如果实例中只有一个CN，则实例可能不可用。
• 如果是混合部署集群，某个CN异常，集群具有自动修复能力，不影响整个实例的正常运行。

可能原因

• 磁盘使用率过高。
• CN节点所在服务器故障。
• 网络原因导致CN断联，被集群移除。
• CN节点进程损坏。

处理步骤

1. 根据告警信息中的节点ID，参考登录实例节点登录数据库节点。
   • 如果能登录上，按照2~5 进行检查修复。
   • 如果不能，执行如下步骤进行节点替换。
     1. 登录DBS运维管理平台。
     2. 在“实例运维 > 实例管理”页签根据实例ID找到实例。
     3. 单击实例名称，进入“GaussDB基本信息”页面。
     4. 根据告警信息中的节点ID，在“节点列表”模块中找到对应节点。
     5. 单击节点名称，进入节点基本信息页面，获取到服务器资源参考查看实例节点状态，确认服务器是否正常。
     • 如果服务器异常，则参考《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例 > 节点替换”章节替换故障节点。如果替换失败，请执行6。
     • 如果服务器正常，则请执行以下步骤。

2. 参考磁盘使用率过高定位与处理，查看是否为磁盘使用率过高导致服务异常。
   • 如果是磁盘使用率过高导致服务异常，请参考磁盘使用率过高定位与处理进行修复，如果仍然无法修复，请执行6。
   • 如果不是磁盘使用率过高导致服务异常，请继续执行下列步骤。

3. 检查CN进程是否存在：

   ps -ef |grep gaussdb

   如果进程不存在，请参考中的《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例 > 节点修复”章节修复节点。

4. 执行如下命令，导入环境变量。

   source /home/Ruby/gauss_env_file

5. 执行如下指令，查看CN的状态。

   cm_ctl query -Cvid

   • 如果CN状态都正常，则当前实例CN组件都已恢复正常，无需继续操作。
   • 如果有“Coordinator State”的“state”是“deleted”状态，执行如下指令检查当前节点与CN所在状态为“Normal”的节点间的网络连通性。

     ping node_ip

     如果网络不通，请联系网络人员修复，如网络正常，继续执行6。

6. 参考收集日志，下载节点日志，并收集告警信息和配置信息，联系技术支持进行处理。

   需要下载的日志信息有：

   • Agent组件下的/var/log/message
   • GaussDB Kernel组件下的/var/lib/log/Ruby

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。