【TDSQL】资源存在隔离端口产生告警的处置

TDSQL资源存在隔离端口产生告警的处置

告警信息样例

【TDSQL】XX集群（192.168.6.10）；资源存在隔离端口产生告警，判断频率（1/1），后续180分钟内屏蔽告警；异常策略：！=阀值（‘’），当前值4031；

告警产生原因

该问题是由于创建实例时端口分配异常引发，判断为故障的端口将无法使用，并同时产生告警。需人为干预清理故障端口。

告警处置方法

赤兔平台清理（推荐）

登录对应赤兔平台，找到"资源管理–设备资源”，点击右上角的“自定义字段”勾选“故障端口、隔离端口”


勾选后，就能够看到故障端口。
在设备资源页，点击下方进度条，拉到最右侧，可以看到“操作”项中的“清理故障端口”

点击清理故障端口进行清理
一般端口故障会同时出现在3~n台机器（根据备机数量不同变化），都需要进行清理操作。
清理后，过5~10分钟再刷新该页面，故障端口消失，说明清理成功。如果仍然出现，重复进行清理操作即可。

手工清理方法

手工清理方法，实际是调用scheduler/bin下的工具resource_tool status_res 该工具功能强大，使用时一定要注意不要带入错误的参数。

1. 登录到集群的 scheduler 机器上，进入对应bin目录
   cd /data/application/scheduler/bin/

2. 后台查看所有资源的端口状态
   ./resource_tool status_res all |grep port

3. 清除故障端口（其中最后一个参数 ip 填的是资源组里 available 状态的 ip 赤兔前台可以看到）
   ./resource_tool recover_res ip(master_ip)
   如： ./resource_tool recover_res 10.1.2.17

4. 后台和赤兔前台再次查看有没有故障端口，以及在赤兔前台观察资源有没有被释放
   ./resource_tool status_res all |grep port