本帖只解决只出现这一个error,没有其他错误的情况!!!
我有多个节点,一个节点有多张卡,我用的单机多卡训练
我是在多机多卡训练一直正常跑程序都几个月了突然出问题,怎么也解决不了,换了别的节点发现不是程序的错。
最后发现是显卡5号被过热无法使用了或者说暂时坏掉了,出现
5号显卡出现ERR!
注意!这个ERR不是一开始就出现了,我调了一晚上一直没出现,第二天早上再看的时候才有的
我选择重启了,但依然无法解决,这种情况绝对是硬件的问题了,只能维修了
本帖只解决只出现这一个error,没有其他错误的情况!!!
我有多个节点,一个节点有多张卡,我用的单机多卡训练
我是在多机多卡训练一直正常跑程序都几个月了突然出问题,怎么也解决不了,换了别的节点发现不是程序的错。
最后发现是显卡5号被过热无法使用了或者说暂时坏掉了,出现
5号显卡出现ERR!
注意!这个ERR不是一开始就出现了,我调了一晚上一直没出现,第二天早上再看的时候才有的
我选择重启了,但依然无法解决,这种情况绝对是硬件的问题了,只能维修了