activate function及其梯度

激活函数----sigmoid（）

tanh激活函数

relu激活函数 

softmax激活函数

这里yi代表pi, zi为自变量，0<=pi<=1,p1+p2+...+pi+...+pc=1

求梯度函数

autograd.grad()直接返回梯度信息

.backward()给变量附加梯度属性

感知机梯度推导

import torch
from torch.nn import functional as F
x=torch.randn(1,10)
w=torch.randn(2,10,requires_grad=True)#标记w为需要梯度信息的对象
o=torch.sigmoid(x@w.t())#加权求和，用sigmoid()激活函数
loss=F.mse_loss(torch.ones(1,2),o)#均方差损失函数
loss.backward()#求对w的梯度
print(w.grad)

输出梯度

tensor([[ 0.0066, -0.0056, -0.0027,  0.0118, -0.0050,  0.0314,  0.0100, -0.0274,
         -0.0006, -0.0448],
        [ 0.0182, -0.0155, -0.0075,  0.0326, -0.0138,  0.0871,  0.0277, -0.0760,
         -0.0017, -0.1241]])