AttributeError: ‘MMDistributedDataParallel‘ object has no attribute ‘_sync_params‘

已于 2023-06-19 10:43:42 修改
阅读量2.1k 收藏 8
点赞数 12
分类专栏： Python pytorch 文章标签： python 深度学习 开发语言 Powered by 金山文档
于 2023-02-15 09:38:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33854260/article/details/129037203
版权

在使用mmcv和mmSegmentation过程中，配置环境完成后，会遇到该问题。在全网未找到明确解决办法，故花时间分析了一下：

分析：属性（attribute）错误应该是torch版本问题导致的，故查看当前软件版本：torch 1.12。

查看程序出错的地方：mmcv/parallel/distributed.py

在torch官网查看继承类的源码：torch/nn/parallel/distributed.py

可以看到该类中，函数发生了变化：

故修改该函数为以上（_sync_buffers）函数，问题解决。

(将mmcv/parallel/distributed.py中的self._sync_params()修改为self._sync_buffers())

Lethe♪
关注
专栏目录
第六章：huggingface的_inner_training_loop源码与流程解读
weixin_38252409的博客
06-14 181
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。
AttributeError: ‘DistributedDataParallel‘ object has no attribute ‘XXXX‘
qq_43332629的博客
06-16 6517
AttributeError: 'DistributedDataParallel' object has no attribute 'xxxx'
AttributeError: 'DistributedDataParallel' object has no attribute 'blahblah'
Xia Qiaolin - CSDN
05-12 4028
Pytorch DDP would fail when using the parameters directly to calculate the loss. These are my scripts: # train.py: class Model(nn.Module): def __init__(self, params): ... self.xnli_proj = nn.Linear(dim, 3) ... model = Model(params) output = model.x
运行MMD benchmark.py时报错：AttributeError: ‘DistributedDataParallel‘ object has no attribute ‘test_step‘
最新发布
2302_79753801的博客
10-13 255
修改后的代码截图，注释为之前未改动的代码。的程序中第222行的。
分布式训练问题AttributeError_‘DistributedDataParallel‘object has no attribute ‘contrast‘
qq_43507356的博客
07-06 159
pytorch中分布式训练，要用module来找到模型中的方法。
‘DistributedDataParallel‘ object has no attribute ‘generate‘(gpu分布式训练提示找不到model中的函数)
yangyanbao8389的博客
10-11 4732
在使用DistributedDataParallel训练model的时候，发现在进行forward的过程中，会碰到DistributedDataParallel' object has no attribute的问题。观察可以看到此时的model已经被封装进类似DistributedDataParallel的类里，此model非平常使用的model，所以导致调用原始model的函数时会出现object has no attribute “xxxx”的bug。 解决方法： model = ...
AttributeError: ‘DistributedDataParallel‘ object has no attribute ‘prepare_inputs_for_generation‘
weixin_43866043的博客
09-11 293
当你使用 DistributedDataParallel (DDP) 时，模型被包装在 DDP 中，所有模型的方法都会被封装在 model.module 中。因此，如果你要调用模型的自定义方法（如 prepare_inputs_for_generation），需要通过 model.module 来访问。
pycharm私有方法报错object has no attribute
LEI_CM的博客
04-09 297
pycharm报错object has no atrribute
AttributeError: 'MMDistributedDataParallel' object has no attribute '_sync_params'
09-21
`AttributeError: 'MMDistributedDataParallel' object has no attribute '_sync_params'` 这是一个常见的Python错误，通常出现在使用PyTorch的DistributedDataParallel (DDP)模块时。这个错误表示你在尝试访问`_...
AttributeError: 'LightningDistributedDataParallel' object has no attribute '_sync_params'
12-18
# 通过下面的方法解决AttributeError: 'LightningDistributedDataParallel' object has no attribute '_sync_params'错误 # 在Lightning中，可以通过以下方式解决该问题 # 在Lightning中，可以通过以下方式解决该...
pytorch 单机多GPU训练RNN遇到的问题
01-06
如图示，会出现如AttributeError: ‘DataParallel’ object has no attribute ‘xxx’的错误。 原因：在使用net = torch.nn.DataParallel(net)之后，原来的net会被封装为新的net的module属性里。 解决方案：所有在...
pytorch——AttributeError: ‘DataParallel‘ object has no attribute ‘****‘
ting
11-15 238
GPU并行训练报错pytorch——AttributeError: 'DataParallel' object has no attribute '****'
'dataparallel' object has no attribute问题的解决（分布式预训练模型加载）
热门推荐
大数据挖掘SparkExpert的博客
09-02 2万+
在一些预训练模型的加载过程中，发现在进行forward的过程中，会碰到dataparallel' object has no attribute的问题。打印model信息，可以看到其为DataParallel对象，即在训练的过程中，采用了分布式训练的方法所得到的预训练模型。而model真正内容则包含在里面。 因此需要去掉DataParallel这一层，具体做法如下： 通过这样的方法就只可以...
解决AttributeError: ‘DataParallel‘ object has no attribute ‘xxxx‘
z5z5z5z56的博客
07-29 2680
训练模型时，分阶段训练，第二阶段加载第一阶段训练好的模型的参数，接着训练第一阶段训练，含有代码第二阶段训练，含有代码结果报错。
AttributeError: 'DataParallel' object has no attribute 'copy' 解决方案
一只坚持的码农
04-16 7074
当我们用DataParallel训练了一个模型之后，又希望在cpu上run在一下模型，这个时候我们会首先建立模型图 model = Mymodel(agrs) 之后我们可能会run如下语句： model.load_state_dict(torch.load(model_path),,map_location=lambda storage, loc: storage) 这个时候就会报错Attri...
pytorch——AttributeError: 'DataParallel' object has no attribute '****'
weixin_38208912的博客
03-26 1万+
报错原因： 在使用model = nn.DataParallel(model,device_ids=[0,1])加载模型之后，出现了这个错误：AttributeError: ‘DataParallel’ object has no attribute ‘****’ 报错的地方在我后面调用model的一些层时，并没有那些层，输出经过nn.DataParallel的模型参数后，发现每个参数前面多了m...
【Bug解决】AttributeError: ‘DataParallel‘ object has no attribute ‘XXX‘
学习 & 分享 ~
04-06 5705
报错内容： raise AttributeError("'{}' object has no attribute '{}'".format( AttributeError: 'DataParallel' object has no attribute 'XXX' 报错信息的意思是 DataParallel object 没有 attribute/method XXX。
AttributeError: ‘DataParallel‘ object has no attribute ‘encoder‘
NLOS的博客
08-07 7215
错误原因 这是使用nn.DataParallel产生的错误，DataParallel或DistributedDataParallel产生的错误。 从它的源码中就能看出来： class DataParallel(Module): def __init__(self, module, device_ids=None, output_device=None, dim=0): super(DataParallel, self).__init__() if not t
Pytorch —— AttributeError: ‘DataParallel’ object has no attribute ‘xxxx’
Chris_zhangrx的博客
01-24 1万+
在 pytorch 多GPU训练下，存储 整个模型 （ 而不是model.state_dict() ）后再调用模型可能会遇到下面的情况： AttributeError: ‘DataParallel’ object has no attribute ‘xxxx’ 解决的方法是： model = torch.load('path/to/model') if isinstance(model,torc...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值