Pytorch:解决报错 No module named ‘torch.distributed.run‘

最新推荐文章于 2025-10-20 15:42:23 发布
原创 最新推荐文章于 2025-10-20 15:42:23 发布 · 2.5w 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

在旧版Pytorch中遇到`torch.distributed.run`缺失的问题，实际上该功能由`torch.distributed.launch`提供。确保使用正确的方法启动分布式训练是解决此类问题的关键。
部署运行你感兴趣的模型镜像

今天运行Pytorch分布式训练程序时发生了以下报错：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'torch.distributed.run'

测试后发现装的pytorch里面是有 torch.distributed模块的，当时没有torch.distributed.run

 原来是pytorch装的老版本，上面的 torch.distributed.run 是最新的版本里的

在老版本里对应的是 torch.distributed.launch

总结：将torch.distributed.run 换成 torch.distributed.launch 即可

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

【Python】ModuleNotFoundError: No module named ‘torch.distributions‘
资深全栈开发工程师
06-16 978
如果你已经安装了正确版本的PyTorch，但仍然遇到这个问题，可能是因为你的Python解释器没有正确加载torch.distributions模块。尝试重启你的开发环境或者终端。如果你已经安装了PyTorch，确保你的Python环境正确。可能你使用的是虚拟环境，或者有多个Python版本，确保你在使用的环境中安装了PyTorch。如果以上步骤都不能解决问题，可能需要检查你的Python环境变量，确保Python解释器和pip的路径设置正确。或者根据你的系统和需求选择合适的安装命令和版本。
解决问题：ImportError: No module named torch.data.distributed
qq_29134801的博客
10-20 5840
具体的错误记不得了。 但就是torch.data.distributed，python解释器表示找不到。 这实际上，是远程服务器上的包安装的版本不对。 解决方式： 首先，在本地pycharm上分析代码是可以找到的。 而后，质疑是否是路径配置错误。使用sys.path 查看路径。 这里有知识点，python包的查找方式：1.当前目录 2.环境path,3. site...
torch之分布式训练
最新发布
fudexiang的博客
10-20 494
绝大多数情况下，分布式训练使用数据并行，每张卡独立工作，只在梯度同步时通信极少数情况下（模型太大），使用模型并行，需要层层传递自动处理数据并行的通信，对用户透明。
No module named ‘torch.distributed.checkpoint.format_utils问题解决
zwhszdx的博客
06-16 749
No module named 'torch.distributed.checkpoint.format_utils'问题解决
完美解决No module named ‘torch.distributed.tensor‘
2203_76013645的博客
03-25 3569
当在使用Pytorch进行分布式训练时，有时会遇到类似于”No module named torch.distributed”的错误。这个错误通常是由于缺少torch的分布式模块造成的。Pytorch中的分布式模块允许用户在多个机器上并行训练模型，以提高训练速度和性能。然而，默认情况下，Pytorch并不包含分布式模块，需要单独安装。
No module named ‘torch._C._distributed_c10d’； ‘torch._C’ is not a package
manfenijxj的博客
12-07 1028
而我又不想重刷Jetpack。找到/home/jetson/miniconda3/envs/<YOUR_ENV>/lib/python3.8/site-packages/transformers/generation/utils.py。Jetson板子的问题，官方并没有给出好的解决办法，建议你升级Jetpack6，Jetpack6就没这个问题了。注释掉第1976、1977的if判断，不会反正jetson你用的时候永远是单卡运算，不会影响任何。
Python 报错 no module named torch 的解决方案
zhangfenger的博客
01-04 1287
Python 报错 no module named torch 的解决方案
No module named torch.distributed.run
08-29
- *1* *3* [Pytorch:解决报错 No module named ‘torch.distributed.run](https://blog.csdn.net/qq_40682833/article/details/121230319)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra...
8409 WARNING: Failed to collect submodules for 'torch.utils.tensorboard' because importing 'torch.utils.tensorboard' raised: ModuleNotFoundError: No module named 'tensorboard' W0917 12:22:55.613767 37636 site-packages\torch\distributed\elastic\multiprocessing\redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs. E:\Anaconda\envs\packCheck\lib\site-packages\PyInstaller\utils\hooks\__init__.py:665: DeprecationWarning: `torch.distributed._sharding_spec` will be deprecated, use `torch.distributed._shard.sharding_spec` instead __import__(name) E:\Anaconda\envs\packCheck\lib\site-packages\PyInstaller\utils\hooks\__init__.py:665: DeprecationWarning: `torch.distributed._sharded_tensor` will be deprecated, use `torch.distributed._shard.sharded_tensor` instead __import__(name) E:\Anaconda\envs\packCheck\lib\site-packages\PyInstaller\utils\hooks\__init__.py:665: DeprecationWarning: `torch.distributed._shard.checkpoint` will be deprecated, use `torch.distributed.checkpoint` instead __import__(name)
09-18
1. ModuleNotFoundError: No module named 'tensorboard' 2. Windows或MacOS不支持重定向的警告 3. PyInstaller中关于torch相关模块弃用的警告 ### 问题分析 #### 第一个问题：缺少tensorboard模块 - 原因：...
ModuleNotFoundError: No module named ‘distributed_utils‘
qq_44731259的博客
03-08 895
修改 import distributed_utils as utils 为 form . import distributed_utils as utils。同样修改 import metrics as metrics 为 from . import metrics as metrics。
python导入同级自定义文件报错 No module named ‘distributed_utils‘
weixin_43350585的博客
09-13 259
文件结构如图所示，报错原因在于启动train.py时，需要导入train_utils包内的train_and_eval.py文件，而train_and_eval.py文件需要导入同级目录下的distributed_utils自定义包，产生报错。
Python如何解决“No module named ‘torch’”错误
qq_40985985的博客
12-01 2836
这篇博客将学习如何摆脱持续的 “No module named ‘torch’” 错误。如果您是一名崭露头角的程序员，偶然发现错误消息“No module named ‘torch’”可能会令人沮丧。但不要害怕！此错误仅意味着您的计算机缺少一个名为 PyTorch 的关键工具。这个强大的库使您能够创建各种令人惊叹的事物，尤其是在人工智能 （AI） 中。
No module named ‘torch‘ 报错解决方法
Beryl_Q的博客
05-30 3906
在测试GPU时，import torch报错“No module named 'torch' ”该位置报错有两种可能1.没有下载pytorch2、未将Anaconda的环境导入到pycharm(或其他python资源），环境问题先排查有没有下载pip和pytorch。
ModuleNotFoundError: No module named ‘torch‘ 错误表示
m0_72056325的博客
02-18 4059
这个错误表示你的 Python 环境中没有安装torch模块。torch是 PyTorch 库的核心模块，常用于深度学习任务。
【Python中No module named ‘torch’‘xxx’系列问题、将自己所写的某个脚本中的函数import到另外一个脚本中显示no module named‘xxx’】
clmeng77的博客
03-07 590
【Python中No module named ‘torch’‘xxx’系列问题、将自己所写的某个脚本中的函数import到另外一个脚本中显示no module named‘xxx’】
PyTorch 分布式训练和启动脚本torch.distributed.launch torchrun slurm
www_z_dd的博客
07-31 6407
如果当前有4个GPU，batch_size=16，那么模型将被复制到每一个GPU上，在前向传播时，每一个gpu将分到4个batch，每个gpu独立计算依据分到的batch计算出结果的梯度，然后将梯度返回到第一个GPU上，第一个GPU再进行梯度融合、模型更新。在下一次前向传播的时候，将更新后的模型再复制给每一个GPU。1、DP在每个训练批次（batch）中，因为模型的权重都是在 一个进程上先算出来 然后再把他们分发到每个GPU上，所以就成为了一个瓶颈，而GPU使用率也通常很低。
No module named ‘Torch’解决办法
热门推荐
你的问题在于，读书太少而想得太多。
05-24 5万+
造成No module named ‘Torch’问题的多种原因及解决办法汇总！
torchrun 分布式 python入口程序#!/home/ailab/.conda/envs/chatglm_etuning/bin/python
强化学习曾小健
07-12 531
re.sub() 是Python正则表达式库的一个函数，用于替换字符串中的子串。sys.argv是一个包含命令行参数的列表，sys.argv[0]是脚本的名称。这行代码使用正则表达式删除了脚本名称末尾的-script.pyw或.exe后缀。sys.exit(main()) #调用了之前导入的main函数，并将其返回值作为程序的退出码。# -*- coding: utf-8 -*- #一个Python的入口脚本，用于启动一个分布式程序。，即脚本名称中末尾的 -script.pyw 或 .exe 后缀。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值