ALM-5012947 云数据库 GaussDB ETCD服务异常

对系统的影响

如果半数以下的ETCD节点异常，则无影响，如果有半数以上的ETCD节点异常，则数据库不可用。

可能原因

• 磁盘使用率过高。
• 防火墙、网络故障等导致ETCD相互不连通。
• 数据文件损坏导致少数派ETCD节点无法启动加入现有ETCD集群。
• TLS授权文件权限有误，ETCD之间无法通信，从而无法构成可用集群。

处理步骤

1. 参考登录实例节点登录数据库节点。
   • 如果能登录上，按照2~7 进行检查修复。
   • 如果不能则执行如下步骤进行节点替换。
     1. 参考登录DBS运维管理平台登录DBS运维管理平台。
     2. 在“实例运维 > 实例管理”页签根据实例ID找到实例。
     3. 单击实例名称，进入“GaussDB基本信息”页面。
     4. 根据告警信息中的节点ID，在“节点列表”模块中找到对应节点。
     5. 单击节点名称，进入节点基本信息页面，获取到服务器资源参考查看实例节点状态，确认服务器是否正常。
     • 如果服务器异常，则参考《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例 > 节点替换”章节替换故障节点。如果替换失败，请执行8。
     • 如果服务器正常，则请执行以下步骤。

2. 参考磁盘使用率过高定位与处理，查看是否为磁盘使用率过高导致服务异常。
   • 如果是磁盘使用率过高导致服务异常，请参考磁盘使用率过高定位与处理进行修复，如果仍然无法修复，请执行8。
   • 如果不是磁盘使用率过高导致服务异常，请继续执行下列步骤。

3. 执行如下命令，导入环境变量。

   source /home/Ruby/gauss_env_file

4. 执行如下指令，查看ETCD所在IP与端口。

   cm_ctl view | grep etcd

5. 执行如下指令，检查网络连通性，确认ETCD集群网络拓扑和连通性符合预期。

   curl -kv <ETCD_IP>:<ETCD_PORT>

   • 如果网络不通，联系网络管理员。
   • 如果网络可以连通，继续执行如下步骤。

6. 检查少数派节点ETCD因为数据文件损坏等，无法成功加入ETCD集群。

   执行如下指令，查看集群状态。

   cm_ctl query -Cvid

   • 如果看到类似上图所示，有一个ETCD节点处于“Down”的状态，其他的节点正常，并且存在状态为“StateLeader”的主节点。登录DBS运维管理平台，在“实例运维 > 实例管理”页签根据实例ID找到故障实例。单击实例名称，找到对应故障节点。参考《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例 > 节点修复”章节修复节点。如果修复失败，执行8。
   • 如果没有ETCD节点处于“Down”的状态，则说明数据库已经自动修复异常组件。不需要再做处理。

   如以上步骤未定位出问题，请继续执行7。

7. TLS授权文件有误，ETCD之间无法通信，从而无法构成可用集群。需要检查授权文件可以访问。
   1. 在Ruby用户下执行：

      cm_ctl query -Cvd

      因为是沙箱环境，所以需要在查询到的ETCD数据目录前加上/var/chroot。

   2. 查询ETCD数据目录，授权文件存放于ETCD数据路径：
      • etcd.crt
      • etcd.key
      • etcd.key.cipher
      • etcd.key.rand

      如果授权文件不可以访问，执行如下指令，添加权限。

      exit

      chown Ruby:Ruby -R /var/chroot/usr/local/etcd

      如果可以访问，则执行8。

8. 参考收集日志，下载节点日志，并收集告警信息和配置信息，联系技术支持进行处理。

   需要下载的日志信息有：

   • Agent组件下的/var/log/message
   • GaussDB Kernel组件下的/var/lib/log/Ruby

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。