pytorch复现loss遇到的问题

最新推荐文章于 2024-09-09 16:02:23 发布

端木亽

最新推荐文章于 2024-09-09 16:02:23 发布

阅读量810

点赞数

分类专栏：图像处理基础文章标签： python 反向传播损失函数深度学习

本文链接：https://blog.csdn.net/duanmuji/article/details/99761842

版权

图像处理基础专栏收录该内容

11 篇文章 0 订阅

订阅专栏

本文详细介绍了如何在PyTorch框架下复现交叉熵损失函数，并解决在实现过程中遇到的detach()问题及大量nan值的产生。通过将numpy函数替换为torch函数，解决了数据类型不匹配的问题，同时使用clamp()函数限制loss计算值的范围，避免了数值不稳定导致的nan值。

摘要由CSDN通过智能技术生成

复现交叉熵

首先定义了函数对照公式实现了交叉熵的功能

def CrossEntropy(inputs, targets):
        return np.sum(np.nan_to_num(-targets*(np.log(inputs)))

运用到项目代码中出现了detach()问题，且因为类型非variable 无法更新梯度，无法backward

由于我的项目代码使用的torch框架，内部数据类型全是tensor，而用了numpy之后的数据类型全部变成了array，遂将numpy的函数全替换为torch的函数，即可针对tensor运算

且新的变量自动全是variable类型，可顺利反向传播

实现好后运行结果出现大量的nan，无法正常运算，使用clamp限制loss计算值的范围

class CrossEntropy(nn.Module):
    def __init__(self):
        super(CrossEntropy, self).__init__()
        
    def forward(self, inputs, targets):
        ## torch中要想实现backward就不能使用np，不能用array，只能使用tensor，只有tensor才有requires_grad参数
        loss1=-targets*(torch.log(inputs)).cuda()
        loss=torch.sum(loss1.clamp(min=0.0001,max=1.0))