AttributeError: ‘NoneType’ object has no attribute ‘data’

最新推荐文章于 2024-07-30 10:28:28 发布

Onwaier

最新推荐文章于 2024-07-30 10:28:28 发布

阅读量2w

点赞数 22

分类专栏： Pytorch 文章标签： pytorch

本文链接：https://blog.csdn.net/happyeveryday62/article/details/104215273

版权

在使用PyTorch训练模型时遇到AttributeError，原因是模型中某些层未参与前向传播。解决方法是检查并确保所有层都参与计算，或在优化器中设置过滤器更新所需参数。

摘要由CSDN通过智能技术生成

参考资料

问题描述

将别人模型替换成自己的模型，训练过程中出现错误param.grad.data.clamp_(-grad_clip, grad_clip) AttributeError: 'NoneType' object has no attribute 'data'

解决方法

上网查询这个问题，大部分回答都是模型中定义的某个层没有参与到前向传播，所以反向传播，计算loss时，grad is None。主要是要找到未参与计算的层，并注释掉。

这个问题困扰我很久，因为始终觉得没有多余的层。

下面的代码定义一个AttentionResNet模型。后来才发现罪魁祸首是self.encoder，这所以前面一直没有注意到它，是因为后面的层的定义用到self.encoder中的某个层或某几个层组合。

class AttentionResNet(nn.Module):
    
    def __init__(self, in_channels=3, out_channels=1, num_filters=32, encoder_depth=34, pretrained=True):
        super(AttentionResNet, self).__init__()
        self.in_channels  = in_channels
        self.out_channels = out_channels 
        self.num_filters = num_filters
         
        if encoder_depth == 34:
            self.encoder = torchvision.models.resnet34(pretrained=pretrained)
            bottom_channel_nr = 512
        elif encoder_depth == 101:
            self.e