Warning: find_unused_parameters=True was specified in DDP constructor……

最新推荐文章于 2024-04-04 11:23:39 发布
最新推荐文章于 2024-04-04 11:23:39 发布
阅读量7.2k 收藏 4
点赞数 3
分类专栏： qa pytorch 文章标签： pytorch lightning ddp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42951560/article/details/124995343
版权
pytorch 同时被 2 个专栏收录
34 篇文章 24 订阅
订阅专栏
qa
21 篇文章 3 订阅
订阅专栏

项目场景

使用 Pytorch Lightning 训练模型。

问题描述

Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused parameters. This flag results in an extra traversal of the autograd graph every iteration, which can adversely affect performance.

解决方案

Trainer(strategy="ddp_find_unused_parameters_false")

引用参考

https://github.com/PyTorchLightning/pytorch-lightning/discussions/6761

Xavier Jiezou
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused p
AAliuxiaolei的博客
03-16 5763
https://pytorch-lightning.readthedocs.io/en/latest/guides/speed.html#when-using-ddp-set-find-unused-parameters-false
find_unused_open_ports
02-15
find_unused_open_ports
【异常错误】 Expected to have finished reduction in the prior iteration before star、find_unused_parameters
最新发布
简单记录生活、学习
04-04 814
如果模型的输出有不需要进行反传的(比如部分参数被冻结/或者网络前传是动态的)【如果有forward的返回值如果不在计算loss的计算图里】，设置此参数为True。如果你的代码运行后卡住某个地方不动，基本上就是该参数的问题，设置为find_unused_parameters=True 就可以了find_unused_parameters=True的设置会带来额外的运行时开销（而且还不小）。
【解决警告】多卡DDP分布式训练报错Warning: find_unused_parameters=True was specified in DDP constructor, but did not
一只菟葵的博客
03-18 1076
解决警告：多卡DDP分布式训练报错Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused parameters in the forward pass. This flag results in an extra traversal of the autograd graph every iteration, which can adversely affect
transformers库中torch的train loop设计
yichudu
05-29 1597
工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.
dotfiles：:shooting_star:有点我的:shooting_star:
02-16
├── .backup dotfiles for currently unused software ├── config dotfiles for used software └── scripts garbage bin of shell scripting 当前使用的软件 $DISTRIBUTION ： $WINDOW_MANAGER ： $...
Linux内核中的文件描述符:fd的分配–get_unused_fd
01-09
在Linux内核中主要有两个函数涉及到文件描述符的分配：get_unused_fd和locate_fd。本文主要讲解get_unused_fd，将会在下一篇文章中介绍locate_fd。首先给出get_unused_fd的定义(fs/open.c)： int get_unused_fd...
走私者：:person_rowing_boat:走私所有进口
02-04
走私者：:person_rowing_boat:走私所有进口
erl_unused_includes
07-09
erl_unused_includes.sh 版权所有 (C) 2014 Klarna AB。 这是一个 shell 脚本，可以用作 Erlang erlc 编译器的包装器，它通过多次编译文件并只保留编译工作实际需要的那些包含声明来消除源文件中不必要的包含声明。 ...
【pytorch】torch.manual_seed()用法详解
热门推荐
XavierJ的博客
01-04 4万+
描述 设置CPU生成随机数的种子，方便下次复现实验结果。 语法 torch.manual_seed(seed) → torch._C.Generator 参数 seed (int) – CPU生成随机数的种子。取值范围为[-0x8000000000000000, 0xffffffffffffffff]，十进制是[-9223372036854775808, 18446744073709551615]，超出该范围将引发RuntimeError报错。 返回 返回一个torch.Generator对象。 示例
【pytorch】使用torch.utils.data.random_split()划分数据集
XavierJ的博客
04-05 3万+
写在前面 不用自己写划分数据集的函数，pytorch已经给我们封装好了，那就是torch.utils.data.random_split()。 函数详解 torch.utils.data.random_split(dataset, lengths, generator=<torch._C.Generator object>) 描述 随机将一个数据集分割成给定长度的不重叠的新数据集。可选择固定发生器以获得可重复的结果（效果同设置随机种子）。 参数 dataset (Dataset) – 要划
【pytorch】常用图像处理与数据增强方法合集（torchvision.transforms）
XavierJ的博客
11-20 1万+
写在前面 机器学习中难免会遇到数据集格式不符合训练规范，或者样本量很少的情况。我们一般采用图像处理或数据增强的方法来解决这一问题，幸运的是，pytorch的torchvision包给我们封装好了用于图像数据变换的模块transforms，本文是对该模块中常用函数的讲解。 注意事项 Deterministic or random transformations applied on the batch of Tensor Images identically transform all the images
解决pytorch报错BrokenPipeError: [Errno 32] Broken pipe
XavierJ的博客
11-22 1万+
问题描述 BrokenPipeError: [Errno 32] Broken pipe 原因分析 Windows使用DataLoader时设置num_workers的问题。 解决方案 两种解决方案，任选一种即可！ 方案1 把代码放到if __name__ == "__main__":下运行 if __name__ == "__main__": train_dataloader = DataLoader( dataset=dataset, batch_size=32
【PyTorch】打印模型结构、输出维度和参数信息（torchsummary）
XavierJ的博客
12-20 1万+
引言 安装 pip install torchsummary 用法 示例 from torchvision import models from torchsummary import summary resnet18 = models.resnet18().cpu().cuda() # 不加.cuda()会报错 summary(resnet18, (3, 224, 224)) 输出 -------------------------------------------------------
【PyTorch】下载的预训练模型的保存位置（Windows)
XavierJ的博客
07-15 1万+
保存位置 C:\Users\xxx\.cache\torch\hub\checkpoints\ xxx替换为你的用户名。 项目场景 迁移学习的时候一般需要用到预训练模型，那么预训练模型的保存位置是在哪呢？ 示例代码 from torchvision import models model = models.vgg19(pretrained=True) 这里以VGG19为例，只要把pretrained参数设置为True就会下载模型，而模型的保存位置是在C盘用户目录下的\.cache\torch\hub\c
【PyTorch】切记：GeForce RTX 3090 显卡仅支持 CUDA 11 以上的版本！
XavierJ的博客
08-23 1万+
得知 PyTorch 1.7.0 开始才支持 CUDA 11，所以要使用 GPU 训练的话，必须安装 PyTorch 1.7.0 及以上版本。前不久给新来的 2台 8 张 GeForce RTX 3090 服务器配置了深度学习环境（配置教程参考。原来是 GeForce RTX 3090 显卡仅支持 CUDA 11 以上的版本！文章），最近在使用的时候却遇到了各种问题。
【PyTorch】基于CNN的手写数字识别（在MNIST数据集上训练）
XavierJ的博客
11-09 9170
项目场景 简单的学习pytorch、自动求导和神经网络的知识后，我们来练习使用mnist手写数字集训练一个cnn模型。 导入模块 import torch import torch.nn as nn import matplotlib.pyplot as plt from torch.utils.data import DataLoader from torchvision import datasets, transforms matplotlib库用于绘图，如果没有请通过pip命令安装： pip in
【PyTorch】迁移学习教程（计算机视觉应用实例)
XavierJ的博客
11-28 7927
写在前面 本教程中，你将学习用迁移学习来训练一个应用于图像分类的卷积神经网络。向了解更多有关迁移学习的知识可以点击这里查看。 使用情况 实际上，很少有人从头开始训练整个卷积网络（使用随机初始化），因为拥有足够大小的数据集相对很少。 相反，我们通常在非常大的数据集上对ConvNet进行预训练（例如ImageNet，其中包含1000个类别共计120万张图像），然后将ConvNet用作初始化或固定特征提取器以完成感兴趣的任务。 实现方法 实现迁移学习主要有两种常见的方法： Convnet微调：代替随机初始化，我
find_unused_parameters=true
06-28
### 回答1： find_unused_parameters=true 的意思是在训练神经网络时，检测是否有未使用的参数（即权重或偏置），如果有则会给出警告信息。这个参数可以帮助我们发现一些不必要的参数，从而减少模型的复杂度和计算量，提高模型的训练效率和泛化能力。 ### 回答2： 在神经网络训练中，通常需要通过反向传播算法对模型参数进行优化。然而，在实际的训练过程中，由于训练数据不足或者模型设计不合理等因素，部分参数可能会变得不起作用或者对模型的性能贡献很小。 为了避免这种情况，我们可以使用PyTorch框架中的一个参数find_unused_parameters。当这个参数设置为True时，PyTorch会在每次运行训练时检查是否有未使用的参数，并输出警告信息。 具体来说，如果有未使用的参数，它们可能是模型中不必要的或者失效的参数。可以通过手动检查模型代码，去除这些不必要的参数。 另外，当我们使用分布式计算时，可能会出现因为网络结构或者设备限制导致部分参数没有被使用的情况。因此，设定find_unused_parameters为True可以帮助我们及时发现问题，进行调整。 总之，在神经网络训练过程中，我们应该不断优化模型的结构和参数设置，减少不必要的参数，从而提高模型的性能和泛化能力。在此过程中，find_unused_parameters参数可以辅助我们检查是否有不必要的参数，帮助我们更快地发现潜在问题。 ### 回答3： find_unused_parameters=True是PyTorch的一种调试工具，主要用于识别神经网络模型的未使用参数并给出相关警告信息。在深度学习中，模型的参数通常较为复杂，这些参数可能会影响模型的学习能力和性能，而存在未使用的参数则可能导致模型的冗余和浪费。 对于一些复杂的深度学习模型，可能会存在不同的参数组合，而有些参数组合可能会被废弃或者未被使用，这就使得模型训练的效率降低，因为过多的参数需要被计算和更新。通过设置find_unused_parameters=True，可以及时地找到并标记未使用的参数，减少计算和存储开销，提高训练效率。 此外，find_unused_parameters=True还可以帮助深度学习开发人员及时发现模型设计的问题，例如，当一个参数在模型中被错误地引用了多次，就可能会导致模型的过拟合以及训练效率下降的问题。通过发现和解决这些问题，可以提高模型的鲁棒性和精度。 总之，find_unused_parameters=True在深度学习模型的开发和调试中具有重要的作用，可以帮助开发人员有效地解决模型中存在的未使用参数问题，在提高模型效率、鲁棒性和精度的同时，提高深度学习模型的可靠性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xavier Jiezou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值