Pytorch中DDP error
RuntimeError: The server socket has failed to listen on any local network address. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use). The server socket has failed to bind to 0.0.0.0:29500 (errno: 98 - Address already in use).
解决方法
2.1 问题原因
由于中途关闭DDP运行,从而没有释放DDP的相关端口号,显存占用信息,当下次再次运行DDP时,使用的端口号是使用的DDP默认的端口号,也即是29500,因此造成冲突
2.2 方法1
手动释放显存,kill -9 pid 相关显存占用的进程,关闭所有这个服务器打开的终端,从而就能释放掉前一个DDP占用的显存和端口号
2.3 方法2
在命令行中在启动DDP命令中(在xx.py前)手动加上一句"_ _master_port=xxxxx",如下图所示(注意需要释放前一个DDP占用的显存,可能会导致显存不足):
python -m torch.distributed.launch --nproc_per_node=8 --master_port=25641 main_task_retrieval.py
停止DDP最快速最方便的办法:
直接在nvidia-smi命令中kill掉一个相关进程,就能强迫程序停止DDP,从而DDP就会自动释放掉相应的端口号和占用的显卡资源。