刘二大人 《PyTorch深度学习实践》P4 反向传播

反向传播

如果是非常复杂的网络，无法直接进行计算

但是如果把网络看作图，通过图传播梯度，就能把梯度计算出来，即反向传播。

e.g. x$\in$Rⁿ , w$\in$R^m*n , b$\in$R^m

矩阵计算书籍 Matricx cookbook https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf

不管有多少层，最后统一成了y = WX+B，没有区别，因此为了增加网络复杂程度，对每一层的输出增加一个非线性函数。

链式求导法则：

计算过程：

1. 创建计算图 前馈运算 得到z
2. 反向得到Loss对z的偏导
3. 使用链式求导计算 Loss对x的偏导 Loss对y的偏导
4. 得到相应的导数之后就可以做权重的更新了

Tensor（张量）

用来存放数据，可以是标量、向量、矩阵、高维度的数据等等。

标量是零维张量，向量是一维张量，矩阵是二维张量。

• tensor.data：表示张量w的值，其本身也是张量，输出格式tensor[数]
• tensor.grad：表示张量w的梯度，其本身w.grad是张量，用时（标量计算）需要取w.grad.data，表示张量w.grad的值，输出格式为tensor[数]。
• tensor.grad.item()：梯度输出时需要取w.grad.item()，表示返回的是一个具体的数值。因此对于元素不止一个的tensor列表，使用item()会报错 ，向量不行二维更不行 ，只有标量行
• tensor.item()：将张量的值作为标准python数返回。这仅适用于具有一个元素的张量。

作业

作业1：计算y = w*x（当w=1， x = 2， y=4）的梯度，理解forward和backward过程

作业2：更新模型，增加一个偏置量

作业3：代码实现标题Tensor上方图

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.tensor([1.0])
w.requires_grad = True


# 模型
def forward(x):
    return x * w


# 计算损失
def loss(x, y):
    return (forward(x) - y) ** 2


print('Predict (before training)', 4, forward(4).item())

epoch_list = []
loss_list = []

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print("\tgrad", x, y, w.grad.item(), w.data, w.grad.data)
        w.data = w.data - 0.01 * w.grad.data

        w.grad.data.zero_()

    epoch_list.append(epoch)
    loss_list.append(l.item())
    print('progress:', epoch, l.item())

print('predict (after training)', 4, forward(4).item())

figure = plt.figure("反向传播")
ax = figure.add_subplot()
ax.plot(epoch_list, loss_list)
plt.show()

作业4：计算y = w₁x² + w₂x + b的梯度

作业5：代码实现作业4

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w1 = torch.tensor([1.0])
w2 = torch.tensor([2.0])
b = torch.tensor([3.0])
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True
r = 0.01


# 模型
def forward(x):
    return x ** 2 * w1 + x * w2 + b


# 计算损失
def loss(x, y):
    return (forward(x) - y) ** 2


print('Predict (before training)', 4, forward(4).item())

epoch_list = []
mse_list = []

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print("\tgrad", x, y, w1.grad.item(), w2.grad.item(), b.grad.item())
        w1.data = w1.data - r * w1.grad.data
        w2.data = w2.data - r * w2.grad.data
        b.data = b.data - r * b.grad.data

        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()

    epoch_list.append(epoch)
    mse_list.append(l.item() / len(x_data))
    print('progress:', epoch, l.item())

print('predict (after training)', 4, forward(4).item())

figure = plt.figure("反向传播")
ax = figure.add_subplot()
ax.plot(epoch_list, mse_list)
plt.show()