反向传播。

BP算法是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。

反向传播要求有对每个输入值期望得到的已知输出，来计算损失函数的梯度。因此，它通常被认为是一种监督式学习方法，虽然它也用在一些无监督网络（如自动编码器）中。它是多层前馈网络的Delta规则的推广，可以用链式法则对每层迭代计算梯度。反向传播要求人工神经元（或“节点”）的激励函数可微。

反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

反向传播：

1. Forward：构建计算图，计算loss
2. Backward：计算梯度
3. 更新梯度
4. 梯度清零

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

# 创建张量，初始化w
w = torch.Tensor([1.0])  # w的初值为1.0
w.requires_grad = True  # 需要计算梯度

# forward：构建计算图的过程，不是单单的进行一个简单的函数运算就完了
def forward(x):
    return x * w  # w是一个Tensor,x*w强制转化为Tensor
def loss( x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print("predict (before training)", 4, forward(4).item())

epoch_list = []
loss_list = []

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # forward：计算loss
        l.backward()  # backward：compute grad for Tensor whose requires_grad set to True
        # backward:将w梯度存起来后，释放计算图；因此每一层的计算图可能不一样，所以每次backword后释放计算图，准备下一次计算。
        # （Pytorch的核心竞争力）
        print('\tgrad:', x, y, w.grad.item())  # w.grad.item():将梯度直接取出来作为一个标量
        w.data = w.data - 0.01 * w.grad.data  # 权重更新，不能直接使用tensor。注意grad也是一个tensor，因此获取梯度需要w.grad.data

        w.grad.data.zero_()  # 梯度清零

    print('progress:', epoch, l.item())  # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）
    epoch_list.append(epoch)
    loss_list.append(l.item())

print("predict (after training)", 4, forward(4).item())
plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()
plt.savefig('picture/Loss1.png')

结果：