记一次manila故障

记一次manila故障

现象：manila在建share时，有时成功，有时不成功

思路1：怀疑是后端存储的个别节点问题，调度到非正常节点后出现异常

排查过程：

1.查看manila的日志，api.log、scheduler.log、share.log,调度日志最具参考性，但是显示创建成功（实际状态为creating），排到share时出现大量报错

Get all share usage failed:

2.检查后端存储，节点均正常

思路2：怀疑是manila集群某节点出现故障，当使用故障manila节点进行创建时，出现故障

排查过程：

1.关闭其中两个manila节点的服务（我们是三台的集群），只用当前节点创建时，成功。转下一台，关闭其他两个节点，依次排查，发现第二个节点创建share时故障，又出现creating状态

2.df -Th 查看，发现没有将所使用的存储mount到本地，怀疑mount没有成功是因为manila用户的免密互信没有做，到用户目录下未发现能免密到nfs节点的密钥
因为manila的服务器到nfs集群是做了免密的，遂将root的密钥copy到了manila的家目录下，重启manima服务后解决。再开启所有manila节点的服务，创建share再未出现问题。