函数式自动微分
神经网络的训练主要使用反向传播算法,模型预测值(logits)与正确标签(label)送入损失函数(loss function)获得loss,然后进行反向传播计算,求得梯度(gradients),最终更新至模型参数(parameters)。自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。
𝑥 为输入,𝑦为正确值,𝑤和𝑏是我们需要优化的参数。 (我认为,其中z应该是输出,绿色圈内是运算过程)
微分函数与梯度计算
神经网络梯度计算
下面展示一些 代码片`。
# Define model
class Network(nn.Cell):
def __init__(self):
super().__init__()
self.w = w
self.b = b
``def construct(self, x):
z = ops.matmul(x, self.w) + self.b
return z
# Instantiate model
model = Network()
# Instantiate loss function
loss_fn = nn.BCEWithLogitsLoss()
# Define forward function
def forward_fn(x, y):
z = model(x)
loss = loss_fn(z, y)
return loss
grad_fn = mindspore.value_and_grad(forward_fn, None, weights=model.trainable_params())
loss, grads = grad_fn(x, y)
print(grads)
输出:
(Tensor(shape=[5, 3], dtype=Float32, value=
[[ 3.31389546e-01, 1.39356658e-01, 3.25677514e-01],
[ 3.31389546e-01, 1.39356658e-01, 3.25677514e-01],
[ 3.31389546e-01, 1.39356658e-01, 3.25677514e-01],
[ 3.31389546e-01, 1.39356658e-01, 3.25677514e-01],
[ 3.31389546e-01, 1.39356658e-01, 3.25677514e-01]]), Tensor(shape=[3], dtype=Float32, value= [ 3.31389546e-01, 1.39356658e-01, 3.25677514e-01]))