Warning: find_unused_parameters=True was specified in DDP constructor……

最新推荐文章于 2024-05-23 10:39:07 发布
最新推荐文章于 2024-05-23 10:39:07 发布
阅读量8.4k 收藏 5
点赞数 4
分类专栏： qa pytorch 文章标签： pytorch lightning ddp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42951560/article/details/124995343
版权

项目场景

使用 Pytorch Lightning 训练模型。

问题描述

Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused parameters. This flag results in an extra traversal of the autograd graph every iteration, which can adversely affect performance.

解决方案

Trainer(strategy="ddp_find_unused_parameters_false")

引用参考

https://github.com/PyTorchLightning/pytorch-lightning/discussions/6761

C++(17)：[[maybe_unused]]编译属性
风静如云的博客
07-02 7172
[[maybe_unused]]用于描述暂时没有被使用的函数或变量，以避免编译器对此发出警告：
pytorch DistributedDataParallel提示未参与loss计算的变量错误
Xia Qiaolin - CSDN
01-29 1万+
错误提示： RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates th at your module has parameters that were not used in producing loss. You can enable unused parameter detection by (1) passin g
【解决警告】多卡DDP分布式训练报错Warning: find_unused_parameters=True was specified in DDP constructor, but did not
一只菟葵的博客
03-18 4770
解决警告：多卡DDP分布式训练报错Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused parameters in the forward pass. This flag results in an extra traversal of the autograd graph every iteration, which can adversely affect
Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused p
AAliuxiaolei的博客
03-16 6187
https://pytorch-lightning.readthedocs.io/en/latest/guides/speed.html#when-using-ddp-set-find-unused-parameters-false
[W reducer.cpp:1289]是什么？
qq_34425255的博客
05-23 809
总之,这个警告提醒用户注意DDP中"find_unused_parameters=True"这个参数的潜在问题,并建议用户根据自己的模型情况来决定是否需要开启这个功能。因此,这个警告提醒用户需要仔细检查自己的模型和训练代码,确保DDP没有错误地忽略掉任何关键参数。"reducer.cpp:1289"是指这个警告信息是由PyTorch的"reducer.cpp"源文件的第1289行代码产生的。总之,这个警告信息是PyTorch DDP模块发出的一个提示,旨在帮助用户更好地理解和监控分布式训练的过程。
transformers库中torch的train loop设计
yichudu
05-29 2221
工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.
pytorch单机多卡的正确打开方式 以及可能会遇到的问题和相应的解决方法
我亦是行人
03-11 1万+
pytorch 单机多卡的正确打开方式 pytorch 使用单机多卡，大体上有两种方式 简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好) 使用 torch.distributed 加速并行训练(推荐，但是不友好) 首先讲一下这两种方式分别的优缺点 nn.DataParallel 优点：就是简单 缺点就是：所有的数据要先load到主GPU上，然后再分发给每个GPU去train，注意这时候主GPU的显存占用很大，你想提升batch_size,那你的主GPU就会限制
mmpose冻结参数训练，如何添加find_unused_parameters参数
qq_41726670的博客
06-30 1003
即可冻结前7层的参数。要注意对于多卡训练来说还需要添加。在backbone下方添加。看图片中代码的位置。
深度学习中的踩过的一些坑
记录基于python语言处理气象问题的一些代码，包括不限于气象数据读取、机器学习和深度学习建模。
06-19 5497
深度学习遇到的一些bug和问题 不定时更新（希望更新的能越来越少 碰不到bug最好）
g++ warn_unused_result
carbon06的博客
08-24 5104
介绍 在编程过程中，有的函数我们需要确保函数的返回值必须被使用。但是如果函数使用者直接调用函数且不使用函数的返回值的话，g++ 不会给出warning。这样可能会导致很难寻觅的bug。如调用realloc函数，函数调用者必须使用函数的返回值获得重新分配内存的指针。 利用g++ common function attributes 中提供的warn_unused_result 可以保证函数的返回...
ffmpeg学习七：avformat_find_stream_info函数源码分析
阳光玻璃杯
12-14 1万+
前面两篇文章分析avformat_open_input和avcodec_open2两个函数，我们所做的函数分析工作都是为了能够很好的理解前面一篇博客：ffmpeg学习四：写第一个程序-视频解码中所给的视频解码的程序。avformat_find_stream_info函数也是视频解码程序中必须要有的函数，因此这篇文章主要来分析这个函数。一、功能简介先看看avformat_find_stream_inf
pytorch怎么显示unused_parameters
weixin_48915167的博客
12-10 494
本文讲解pytorch遇到unused_parameters时怎么显示，并说明了预训练模型自定义修改导致有未使用参数怎么解决
[Pytorch] DDP执行报错 RuntimeError: Expected to mark a variable ready only once.
weixin_42338988的博客
05-06 1913
在调试pytorch分布式DDP代码时，因为需要节省显卡内存，想要用checkpoint机制。网上搜索的多数解决方法都对应了里面的1)，即模型的某部分在逻辑顺序上被重复执行了，在检查代码之后未发现这一情况。
Pytorch中查找不参与损失计算的层及解决方法
qq_41131535的博客
07-17 1746
在Pytorch中计算loss，如果有些层未参与计算，那么在跑多卡分布式训练的时候，会报错，提示要设置find_unused_parameters=True；
解决pytorch报错——RuntimeError: Expected to have finished reduction in the prior iteration...
热门推荐
Polaris的博客
01-05 2万+
解决pytorch报错——RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has parameters that were not used in producing loss. You can enable unused parameter detection by (1) pas
【异常错误】 Expected to have finished reduction in the prior iteration before star、find_unused_parameters
Drug discovery
04-04 4111
如果模型的输出有不需要进行反传的(比如部分参数被冻结/或者网络前传是动态的)【如果有forward的返回值如果不在计算loss的计算图里】，设置此参数为True。如果你的代码运行后卡住某个地方不动，基本上就是该参数的问题，设置为find_unused_parameters=True 就可以了find_unused_parameters=True的设置会带来额外的运行时开销（而且还不小）。
云端开炉,线上训练,Bert-vits2-v2.2云端线上训练和推理实践(基于GoogleColab)
刘悦的技术博客
12-19 2769
对于笔者这样的穷哥们来讲，GoogleColab就是黑暗中的一道光，就算有训练时长限制，也能凑合用了，要啥自行车？要饭咱也就别嫌饭馊了，本次我们基于GoogleColab在云端训练和推理Bert-vits2-v2.2项目，复刻那黑破坏神角色莉莉丝(lilith)。
[源码解析] PyTorch 分布式(11) ----- DistributedDataParallel 之 构建Reducer和Join操作1
weixin_45032957的博客
11-25 1949
1.2 参数说明 调用的 parameters 举例如下， parameters[0] 就是 rank 0 上模型的 parameters，可以看到其只有 [0] 元素有意义，这个 [0] 原始本身包括 20 个元素： parameters = {list: 1} 0 = {list: 4} 0 = {Parameter: 10} Parameter containing:\ntensor([[-4.0381e-02, 3.8828e-02, 1 ) 1 = {Parameter: 10} Parame
RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one.
weixin_44966641的博客
09-19 1万+
RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. 报错信息 报错信息： RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has pa
Traceback (most recent call last) Cell In[6], line 84 81 mean_reducer = ee.Reducer.mean().forEach(['MNDWI', 'Chlorophyll']) 83 # 定义分组归约器 ---> 84 group_reducer = ee.Reducer.group(groupField=1, groupName='quarter') 86 # 组合归约器 87 combined_reducer = group_reducer.combine( 88 reducer2=mean_reducer, 89 sharedInputs=True 90 ) TypeError: Reducer.group() missing 1 required positional argument: 'self'
最新发布
03-13
<think>好的，我现在要解决用户在Google Earth Engine（GEE）中遇到的错误：在使用ee.Reducer.group()时出现的TypeError，提示缺少一个必需的位置参数'self'。让我仔细分析一下这个问题。 首先，用户提供的代码片段是： group_reducer = ee.Reducer.group(groupField=1, groupName='quarter') 错误信息指出Reducer.group()缺少参数'self'。这通常意味着在调用方法时，可能没有正确实例化或者方法调用方式有误。在Python中，类的实例方法需要首先通过实例调用，而静态方法则不需要。但GEE的Reducer方法通常是静态方法，比如ee.Reducer.mean()，所以可能这里存在混淆。 接下来，我需要回忆GEE的API文档。Reducer.group()方法的作用是根据某个字段对数据进行分组统计。查阅文档发现，正确的使用方式应该是调用ee.Reducer.group()，并传入相应的参数。例如，正确的参数可能包括groupField和groupName，但参数的名称可能有所不同，或者参数传递的方式需要调整。 在Python中，GEE的方法参数通常需要明确指定，而不是依赖位置参数。用户代码中的参数名是否正确呢？例如，groupField可能应该是groupField，但根据最新的API文档，可能需要使用不同的参数名。例如，groupField可能对应的是字段的索引，而groupName是分组的名称。然而，参数是否正确传递？ 可能的错误来源之一是参数名称拼写错误。例如，正确的参数名是否是groupField和groupName？或者是否有其他参数名，比如field和name？或者是否需要将参数作为字典传递？ 另一个可能是，Reducer.group()方法是否需要先通过某个实例调用，但根据GEE的常规用法，Reducer方法通常是静态方法，如ee.Reducer.mean().group()这样的链式调用是否存在？ 例如，正确的用法可能是先创建一个Reducer，然后调用group方法，或者是在创建时传递参数。但用户当前的代码是直接调用Reducer.group()，这可能不正确，因为它可能是一个类方法，需要先有实例，或者参数传递方式错误。 另外，检查GEE的官方文档示例，找到正确的使用方法。例如，在GEE的文档中，分组归约器的使用可能需要指定分组字段和名称，正确的语法可能是： var groupReducer = ee.Reducer.mean().group({ groupField: 1, groupName: 'group' }); 但在Python中，这可能转化为： group_reducer = ee.Reducer.mean().group(groupField=1, groupName='quarter') 但用户代码中直接调用的是ee.Reducer.group()，而不是在已有的Reducer实例上调用group方法。这可能就是问题所在，因为group()可能是一个实例方法，而不是静态方法。也就是说，用户应该先创建一个Reducer（如mean()），然后在该Reducer上调用group()方法，并传入参数。 例如，正确的步骤应该是： 1. 创建一个基础Reducer（如mean()）。 2. 在该Reducer上调用group()方法，并指定参数。 因此，用户的代码应该修改为： base_reducer = ee.Reducer.mean() group_reducer = base_reducer.group(groupField=1, groupName='quarter') 或者可能参数名在Python中有所不同，比如在JavaScript中使用的是groupField和groupName，但在Python中可能需要使用不同的参数名，比如field和name。例如： group_reducer = ee.Reducer.mean().group(field=1, name='quarter') 这时候需要查阅GEE Python API的文档确认参数名称。 如果用户直接调用ee.Reducer.group()，而没有先创建Reducer实例，就会导致缺少self参数的错误，因为Python在调用实例方法时，第一个参数是self，而用户没有通过实例调用，导致参数传递错误。例如，当用户写ee.Reducer.group(...)，实际上group()是一个实例方法，需要先有一个Reducer实例，然后调用instance.group(...)，这样self参数会自动传递。 所以，用户的错误是因为直接调用了Reducer类的group方法，而没有在实例上调用。正确的做法是在已有的Reducer实例上调用group方法，例如： mean_reducer = ee.Reducer.mean() grouped_reducer = mean_reducer.group(groupField=1, groupName='quarter') 这样，group()方法作为实例方法被调用，self参数自动填充为mean_reducer实例，用户只需提供其他参数。 总结，用户的错误在于没有在Reducer实例上调用group方法，而是直接通过类调用，导致缺少self参数。需要将代码修改为先创建基础Reducer，然后在其上调用group方法，并正确传递参数。</think>在Google Earth Engine (GEE) 中遇到 `TypeError: Reducer.group() missing 1 required positional argument: 'self'` 错误，是因为 **`group()` 是一个实例方法，必须通过 Reducer 实例调用**。以下是逐步解决方案： --- ### **错误原因分析** 1. **直接调用类方法**：`ee.Reducer.group()` 需要基于一个已存在的 Reducer 实例（如 `mean()`、`sum()` 等）调用。 2. **参数传递方式**：GEE Python API 中参数名与 JavaScript 不同，需使用 `field` 和 `name` 代替 `groupField` 和 `groupName`。 --- ### **正确代码写法** ```python # 1. 先创建一个基础归约器（如均值归约器） base_reducer = ee.Reducer.mean() # 2. 在基础归约器上调用 group() 方法 group_reducer = base_reducer.group( field=1, # 分组字段的索引（对应输入数据的字段位置） name='quarter' # 分组名称（输出结果中显示的名称） ) ``` --- ### **参数说明** | 参数名 | 类型 | 说明 | |--------|--------|----------------------------------------------------------------------| | `field` | int | 输入数据中用于分组的字段索引（从 0 开始计数）。例如：输入数组的第 1 列作为分组依据，则 `field=0`。 | | `name` | string | 输出结果中分组标识的名称。例如：`name='quarter'` 会生成 `quarter` 字段标识组别。 | --- ### **完整示例** ```python # 定义基础归约器（计算 MNDWI 和叶绿素的均值） mean_reducer = ee.Reducer.mean().forEach(['MNDWI', 'Chlorophyll']) # 在基础归约器上添加分组功能 group_reducer = mean_reducer.group( field=1, name='quarter' ) # 组合归约器（可选操作） combined_reducer = group_reducer.combine( reducer2=ee.Reducer.stdDev(), # 例如：添加标准差计算 sharedInputs=True ) ``` --- ### **关键点总结** 1. **链式调用**：始终在已有的 Reducer 实例（如 `mean()`、`sum()`）后调用 `.group()`。 2. **参数名称**：使用 `field` 和 `name` 而非 `groupField` 和 `groupName`。 3. **输入数据格式**：确保输入是包含分组字段的 FeatureCollection 或数组图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xavier Jiezou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值