PyTorch 教程 04 - 反向传播 原理与实战

步骤

1. 前向传播

2. 计算局部梯度

3. 反向传播：计算损失的梯度/ 关于我们的权值或参数 使用链式法则

具体例子

1. 先前向传播

2. 计算每个点的局部梯度 loss/s，s/y_hat , y_hat/w

3. 用这个链式法则，得到损失相对于w的最终梯度 loss/s,loss/y_hat,loss/w

代入具体的数值

1、正向传播

假设x=1,y=2,w的预设值是1，即w=1

代入计算 y_hat=1*1=1,输入真实值y=2，计算Loss=（-1）**2=1

2、计算局部梯度

红色的线不用关注，因为我们只关注需要更新参数的地方

3、反向传播

# Backpropagation
# 链式法则 df(x)=df/dy * dy/dx
import torch
x=torch.tensor(1.0)
y=torch.tensor(2.0)
w=torch.tensor(1.0,requires_grad=True)

# forward pass and compute the loss
y_hat=w*x
loss=(y_hat-y)**2
print(loss)

------------------
tensor(1., grad_fn=<PowBackward0>)

# backward pass
loss.backward()
w.grad

-----------------------------
tensor(-2.)

### update weights
### next forward and backwards