Pytorch中DDP ：The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use）

Pytorch中DDP error

RuntimeError: The server socket has failed to listen on any local network address. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use). The server socket has failed to bind to 0.0.0.0:29500 (errno: 98 - Address already in use).

解决方法

2.1 问题原因

由于中途关闭DDP运行，从而没有释放DDP的相关端口号，显存占用信息，当下次再次运行DDP时，使用的端口号是使用的DDP默认的端口号，也即是29500，因此造成冲突

2.2 方法1

手动释放显存，kill -9 pid 相关显存占用的进程，关闭所有这个服务器打开的终端，从而就能释放掉前一个DDP占用的显存和端口号

2.3 方法2

在命令行中在启动DDP命令中（在xx.py前）手动加上一句"_ _master_port=xxxxx"，如下图所示（注意需要释放前一个DDP占用的显存，可能会导致显存不足）：

python -m torch.distributed.launch --nproc_per_node=8 --master_port=25641 main_task_retrieval.py

停止DDP最快速最方便的办法：

直接在nvidia-smi命令中kill掉一个相关进程，就能强迫程序停止DDP，从而DDP就会自动释放掉相应的端口号和占用的显卡资源。