记一次manila故障
现象:manila在建share时,有时成功,有时不成功
思路1:怀疑是后端存储的个别节点问题,调度到非正常节点后出现异常
排查过程:
1.查看manila的日志,api.log、scheduler.log、share.log,调度日志最具参考性,但是显示创建成功(实际状态为creating),排到share时出现大量报错
Get all share usage failed:
2.检查后端存储,节点均正常
思路2:怀疑是manila集群某节点出现故障,当使用故障manila节点进行创建时,出现故障
排查过程:
1.关闭其中两个manila节点的服务(我们是三台的集群),只用当前节点创建时,成功。转下一台,关闭其他两个节点,依次排查,发现第二个节点创建share时故障,又出现creating状态
2.df -Th 查看,发现没有将所使用的存储mount到本地,怀疑mount没有成功是因为manila用户的免密互信没有做,到用户目录下未发现能免密到nfs节点的密钥
因为manila的服务器到nfs集群是做了免密的,遂将root的密钥copy到了manila的家目录下,重启manima服务后解决。再开启所有manila节点的服务,创建share再未出现问题。