Pytorch学习（三）反向传播

训练的目的，是为了让损失更小，即在训练过程中不断更新ω的值，以使得loss最小。

所以我们在梯度下降的过程中，就是观察，并使其取向最小的趋势训练。

根据上一节我们可以得到一般简单的线性更新计算的解析式为：

                                Update为：      其中，α称为学习率。（采用贪心策略）

                                对应的Loss Function：

 

但是对于我们常用的复杂的网络时，如果还是按照上述的求解ω方法，则我们需要花费大量的时间来求解相应网络连接中的权重ω，因此，我们考虑用反向传播（back promption），以求解图的方式来求解对应的权重ω。

 

例如一个两层的神经网络：

则其需要经过(如下草图)：

 

#反向传播过程：
#1.先计算损失函数
#2.再进行.backward（）



import torch
import matplotlib.pyplot as plt     #torch 要放在matplotlib之前。

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]


w =torch.Tensor([3.0])
w.requires_grad = True

epoch_list = []
loss_list = []

def forward(xs):
    return xs * w


def loss(x,y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print("predict (before training)",4,forward(4).item())


for epoch in range(100):
    for x,y in zip(x_data,y_data):
        l = loss(x,y)
        l.backward()
        print('\tgrad:',x,y,w.grad.item())
        w.data = w.data - 0.01 * w.grad.data
        w.grad.data.zero_()

    print("process:",epoch,l.item())
    epoch_list.append(epoch)
    loss_list.append(l.item())




print("predict (after training)",4,forward(4).item())
plt.plot(epoch_list,loss_list)
plt.ylabel('Loss')
plt.xlabel('epoch')
plt.show()