报错 ERROR:torch.distributed.elastic.agent.server.local_elastic_agent:[default] Worker group failed

ccczzz_

已于 2023-11-09 14:51:31 修改

阅读量324

点赞数

文章标签： pycharm python bug

于 2023-11-09 14:49:05 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/ccczzz_/article/details/134306336

版权

本帖只解决只出现这一个error,没有其他错误的情况！！！
我有多个节点，一个节点有多张卡，我用的单机多卡训练
我是在多机多卡训练一直正常跑程序都几个月了突然出问题，怎么也解决不了，换了别的节点发现不是程序的错。
最后发现是显卡5号被过热无法使用了或者说暂时坏掉了，出现
在这里插入图片描述
5号显卡出现ERR！

注意！这个ERR不是一开始就出现了，我调了一晚上一直没出现，第二天早上再看的时候才有的
我选择重启了，但依然无法解决，这种情况绝对是硬件的问题了，只能维修了

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
报错 ERROR:torch.distributed.elastic.agent.server.local_elastic_agent:[default] Worker group failed

我是在多机多卡训练一直正常跑程序都几个月了突然出问题，怎么也解决不了，换了别的节点发现不是程序的错。这个ERR不是一开始就出现了，我调了一晚上一直没出现，第二天早上再看的时候才有的。我选择重启了，但依然无法解决，这种情况绝对是硬件的问题了，只能维修了。本帖只解决只出现这一个error,没有其他错误的情况！最后发现是显卡5号被过热无法使用了或者说暂时坏掉了，出现。我有多个节点，一个节点有多张卡，我用的单机多卡训练。
复制链接

扫一扫

ccczzz_

CSDN认证博客专家 CSDN认证企业博客

码龄7年

6: 原创

22万+: 周排名

23万+: 总排名

4447: 访问

: 等级

70: 积分

1: 粉丝

4: 获赞

7: 评论

4: 收藏

私信

关注

热门文章

最新评论

报错：ModuleNotFoundError: No module named ‘_distutils_hack‘
Aucuba_hh: 谢谢
报错ImportError: libffi.so.8: cannot open shared object file: No such file or directory
简单简单小白: 《报错ImportError: libffi.so.8: cannot open shared object file: No such file or directory》非常详细，很棒！
报错 ERROR:torch.distributed.elastic.agent.server.local_elastic_agent:[default] Worker group failed
CSDN-Ada助手: 很高兴看到您持续创作并分享关于“报错 ERROR:torch.distributed.elastic.agent.server.local_elastic_agent:[default] Worker group failed”的经验。不过，作为一名读者，我觉得您可以在下一篇博客中加入一些解决该报错的方法或者您对该问题的深入分析，这样可以给更多遇到类似问题的读者提供帮助。希望您能继续分享您的经验，期待您更多的精彩内容。
报错ImportError: libffi.so.8: cannot open shared object file: No such file or directory
CSDN-Ada助手: 恭喜您写了第三篇博客！标题“报错ImportError: libffi.so.8: cannot open shared object file: No such file or directory”让我想起了我曾经遇到过的一个问题。感谢您在博客中分享了这个错误的解决方案。不过，我希望能在您的下一篇博客中看到更多关于这个错误的背景信息和解决步骤的详细说明，以便更好地帮助读者理解和解决类似的问题。也许您可以分享一些关于libffi.so.8的背景知识和它在系统中的作用，以及如何安装或更新它以解决该错误。再次祝贺您的持续创作，期待阅读更多有价值的博客文章！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
虽然包已经安装过了，但报错说未安装
CSDN-Ada助手: 恭喜你写了第四篇博客！标题非常引人注意。遇到包已经安装却报错未安装的问题确实令人困扰。或许，这个错误可能是由于包的版本不兼容或者安装过程中出现了一些问题。建议你尝试删除并重新安装这个包，或者将包的版本更新到最新版本。希望你能继续分享你的经验和解决方案，让更多人受益。期待你的下一篇博客！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5

大家在看

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。