mindspore，resnet双卡训练报错

问题描述：

飞腾+300T训练卡，麒麟V10 SP1操作系统

mindspore1.6

模型：resnet50

问题现象：单卡训练没问题，双卡训练报错

 

解答：

这种错误的原因是该卡在最大等待时长内，没有收到其他卡的同步消息。 而没有收到其他卡的同步消息，有很多种可能： 其他卡停了； 其他卡还在执行编译，且编译时间略长，超出了该卡的最大等待时长； 对于第一种情况，需要检查是否存在某张卡有问题无法正常使用的情况，可能是硬件问题，也可能是软件问题，可以通过查看每张卡的plog得知进一步的信息。