PyTorch:Loss函数的梯度

1、Loss函数的表达式

loss=torch.norm(y-pred,2).pow(2)

示例:

print("示例一：")
x=torch.ones(1)
print(x)#x=tensor([1.])
w=torch.full([1],2)
w.requires_grad_()
print(w)
#torch.ones(1)是tensor([1.]),是predict,y=x*w+b,其中b=0,x=tensor([1]),w=tensor([1])
#loss=(y-pred)**2
mse=torch.autograd.grad(torch.ones(1),x*w)
print(mse)

3、softmax函数

①函数值属于0～1之间，所有函数值的和是1

②存在金字塔效应

③分类问题中概率问题

④pi/aj求导结果：

i=j时，求导结果是pj(1-pj).

i不等于j时，求导结果是-pi*pj

#softmax函数
  #值的范围在0～1之间，而且所有值求和结果是1

a=torch.rand(3)
a.requires_grad_()#表示需要grad信息
print(a)#tensor([0.9307, 0.0915, 0.8436], requires_grad=True)

#将a的值转换成概率，数值越大，概率越大
p=F.softmax(a,dim=0)
print(p)#tensor([0.4258, 0.1840, 0.3903], grad_fn=<SoftmaxBackward0>)

#对p中的第二个变量，i=1
#j=0时，i!=j,-0.4258*0.1840=-0.0783
#j=1时，i=j,0.1840*(1-0.1840)=0.1501
#j=2时，i!=j,-0.1840*0.3903=-0.0718
print(torch.autograd.grad(p[1],[a],retain_graph=True))#(tensor([-0.0783,  0.1501, -0.0718]),)

#对p中的第三个变量,i=2
#j=0时，i!=j,-0.3903*0.4258=-0.1662
#j=1时，i!=j,-0.3903*0.1840=-0.0718
#j=2时，i=j,0.3903*(1-0.3903)=0.2380
print(torch.autograd.grad(p[2],[a]))                  #(tensor([-0.1662, -0.0718,  0.2380]),)