在WSL2环境下，使用PyTorch1.7.1进行多GPU分布式训练时遇到'RuntimeError: NCCL Error 2: unhandled system error'的问题。通过设置环境变量NCCL_DEBUG=info和NCCL_IB_DISABLE=1，获取到更详细的错误信息。错误源于NCCL无法找到PCI设备路径。解决方案是升级NCCL版本到2.11.4及以上，并从源码编译安装PyTorch，确保其使用系统已安装的高版本NCCL。
在WSL2上使用pytorch1.7.1，无法进行多显卡分布式训练，提示“RuntimeError: NCCL Error 2: unhandled system error”，一直不知道什么意思，后来上网搜索，发现可以打印nccl的日志
（链接） ，以获得更为详细的出错提示。随即在环境变量里添加了
export NCCL_DEBUG=info
export NCCL_SOCKET_IFNAME=eth0
export NCCL_IB_DISABLE=1
再次训练，这次打印出了更为详细的错误信息。如下：
DESKTOP-SVB4DC0:26340:26340 [0] NCCL INFO Bootstrap : Using [0]eth0:172.24.6.154<0>
DESKTOP-SVB4DC0:26340:26340 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation
DESKTOP-SVB4DC0:26340:26340 [0] NCCL INFO NCCL_IB_DISABLE set by environment to 1.
DESKTOP-SVB4DC0:26340:26340 [0] NCCL INFO NET/Socket : Using [0]eth0:172.24.6.154<0>
DESKTOP-SVB4DC0:26340:26340 [0] NCCL INFO Using network Socket
NCCL version 2.7.8+cuda11.0
DESKTOP-SVB4DC0:26340:26714
最低0.47元/天 解锁文章
4032
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
