PyTorch训练模型出现“Address already in use”问题解决

最新推荐文章于 2024-07-25 16:21:54 发布
最新推荐文章于 2024-07-25 16:21:54 发布
阅读量639 收藏 9
点赞数 6
文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27061325/article/details/135620991
版权

1. 常规做法

通过环境变量指定端口。

export MASTER_PORT=$MASTER_PORT

2. 多进程通信导致的问题

有时候，即使单卡训练任务，也指定了MASTER_PORT，可还是出现这种报错。我数了一下报错信息中"Address already in use"的出现次数，居然等于我在dataloader里面指定的num_workers数值。所以怀疑是多线程/进程通信问题。GPT4告诉我说也有可能是加载远程网盘数据在multi-workers情况下出现端口占用问题。解决办法很简单，加上一个参数即可“--dist-url auto”。

python xxx.py --dist-url auto [--other_options]

Happy Coding!

sunrise_ccx
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
解决Pytorch 加载训练好的模型 遇到的error问题
09-18
今天小编就为大家分享一篇解决Pytorch 加载训练好的模型 遇到的error问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch AI模型训练手册
01-26
《PyTorch AI模型训练手册》是一本专为深度学习爱好者和从业者打造的全面指南，旨在帮助读者从零基础开始，逐步掌握PyTorch这一强大的深度学习框架，并深入理解AI模型的训练过程。这本书覆盖了从入门到进阶的各个...
【linux指令】程序运行出现Address already in use怎么办？亲测有效！！！
蓦然一笑的博客
07-19 3115
在linux运行多线程的python程序，出现报错：Address already in use，一般是因为所需要的，所以需要先关闭这些线程。
RuntimeError: Address already in use pytorch分布式训练
athrunsunny的博客
02-23 1523
出现该错误原因是通信端口被占用。之后重新训练即可正常。
Pytorch问题处理：Pytorch distributed RuntimeError: Address already in use
道纪书生的博客
11-09 4006
Pytorch报错如下： Pytorch distributed RuntimeError: Address already in use 原因： 模型多卡训练时端口被占用，换个端口就好了。 解决方案： 在运行命令前加上一个参数 --master_port 如： --master_port 29501 后面的参数 29501 可以设置成其他任意端口 注意： 这个参数要加载 XXX.py前面 例如： CUDA_VISIBLE_DEVICES=2,7 python3 -m torch
Pytorch distributed RuntimeError: Address already in use
Orientliu96的博客
03-01 2万+
Pytorch distributed RuntimeError: Address already in use 如果是使用pytorch distributed 单机多卡训练方式，出现该错误，非常好解决。 Traceback (most recent call last): File "main1.py", line 279, in <module> train(args...
解决方案：RuntimeError: Address already in use、urllib.error.HTTPError、Resource punkt not found错误分析
白洞，白色的明天在等着我们
09-12 3545
问题一：RuntimeError: Address already in use 问题二：urllib.error.HTTPError: HTTP Error 403: Forbidden 问题三：Resource punkt not found.
Python3 Address already in use 解决方法
三人行必有我师
08-07 6073
1、查看使用端口号netstat -ntlp 2、根据端口号找到pid 3、杀死程序 kill -9 pid 4、重新启动程序 简单粗暴 我使用python3时编写Socket，linux系统下使用ctrl+z结束程序后，重启程序继续报错，Address already in use ； 查资料说在bind之前加上  self.serversocket.setsockopt(SOL_S...
python解决address already in use
Mage的专栏
11-04 1万+
我的python服务器使用的是SocketServer.ThreadingTCPServer()这个，有一个问题，每一次服务器重启之后，马上再开启服务器都会出现一个socket的bind错误：socket.err:[Errno 48] address already in use网上找了一下，有人说是python的进程没有完全停止什么的，现在看来其实这完全是鬼话。真实情况是操作系统对socket连
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，...
Pytorch模型训练实用教程
10-03
通过学习这个教程，读者将能够熟练地在PyTorch环境中构建、训练和优化深度学习模型，解决实际问题。此外，教程可能还涵盖了模型的调参技巧、模型融合以及如何利用PyTorch进行迁移学习等进阶主题，帮助开发者不断提升...
MxNet预训练模型到Pytorch模型的转换方式
09-16
MxNet和PyTorch是两种流行的深度学习框架，它们都支持预训练模型的使用。然而，由于框架间的不兼容性，有时需要将一个框架的预训练模型转换到另一个框架。本篇将详细讨论如何将MxNet的预训练模型转换为PyTorch模型。...
RuntimeError: Address already in use
qq_42610612的博客
10-10 1350
注意：--master_port 只能放到.run之后，train.py之前，否则不会改变默认端口号。2. 该设备上已有自己的或其他用户运行的多卡程序，大多是自己的。1. 程序非正常停止，实际进程并未停止；程序默认端口号被占用。
在Pycharm的Flask模块的使用过程中出现OSError[Errno 48]:Address already in use
m0_57468722的博客
11-04 571
1. 问题陈述 在Pycharm的Flask模块的使用过程中，可能会出现该问题：OSError[Errno 48]:Address already in use。 2.软件版本 MacOS : 10.13.6 Pych...
Pytorch中DDP ：The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use）
热门推荐
flyingluohaipeng的博客
09-16 3万+
由于中途关闭DDP运行，从而没有释放DDP的相关端口号，显存占用信息，当下次再次运行DDP时，使用的端口号是使用的DDP默认的端口号，也即是29500，因此造成冲突。手动释放显存，kill -9 pid 相关显存占用的进程，，从而就能释放掉前一个DDP占用的显存和端口号。
pycharm端口被占用的解决方法
weixin_43115001的博客
12-13 2553
报错:error:[Errno 98] Address already in use 当你该端口被其他进程占用时，那就需要你修改为一个未使用的端口号重新运行。 是运行程序没有通过 C正常结束而是直接关闭Terminal或者其他非正常途径退出的时候。 解决方法： 1.终端输入：lsof -i:(port)，查看占用该端口号的进程，一般就是刚未正常退出的进程。 例如 sudo lsof -i:...
python -m visdom.server报[Errno 98] Address already in use错误解决办法
RufyHuang的博客
06-05 2156
当输入：python3 -m visdom.server的时候，会报错：“address already in use”。原因是地址被占用。解决办法如下： 1.先在命令行中输入：lsof -i tcp:8097，其中8097是端口号。 2.用以下命令结束这个pid: kill -9 # 是被占用的 3.这时候再输入：lsof -i tcp:8097，就没有内容返回了。 4.这时候再输入：python3 -m visdom.server，就没有报错，可以打开网页。 ...
将YOLOv8模型从PyTorch的.pt格式转换为TensorRT的.engine格式
最新发布
网络资源是无限的
07-25 1589
将YOLOv8模型从PyTorch的.pt格式转换为TensorRT的.engine格式
pytorch训练模型
04-02
PyTorch是一个开源的深度学习框架，可以用于训练各种类型的神经网络模型。下面是使用PyTorch训练模型的一般步骤： 1. 数据准备：准备好训练数据和测试数据，将其转换为PyTorch张量或数据集对象。 2. 模型定义：...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值