pytorch复现loss遇到的问题

复现交叉熵

首先定义了函数对照公式实现了交叉熵的功能

def CrossEntropy(inputs, targets):
        return np.sum(np.nan_to_num(-targets*(np.log(inputs)))

运用到项目代码中出现了detach()问题，且因为类型非variable 无法更新梯度，无法backward

由于我的项目代码使用的torch框架，内部数据类型全是tensor，而用了numpy之后的数据类型全部变成了array，遂将numpy的函数全替换为torch的函数，即可针对tensor运算

且新的变量自动全是variable类型，可顺利反向传播

实现好后运行结果出现大量的nan，无法正常运算，使用clamp限制loss计算值的范围

class CrossEntropy(nn.Module):
    def __init__(self):
        super(CrossEntropy, self).__init__()
        
    def forward(self, inputs, targets):
        ## torch中要想实现backward就不能使用np，不能用array，只能使用tensor，只有tensor才有requires_grad参数
        loss1=-targets*(torch.log(inputs)).cuda()
        loss=torch.sum(loss1.clamp(min=0.0001,max=1.0))