深度学习（PyTorch）——反向传播

B站up主“刘二大人”视频 笔记

本课程的主要任务是利用torch包的requires_grad自动求导，构建反向传播模型：
导入numpy和matplotlib库；

导入数据 x_data 和 y_data；

初始化一个w数值，这里要用torch.Tensor构建；

把w的 requires_grad 参数打开；（重点）

定义前向传播函数:

forward：输出是预测值y_hat
定义损失函数：

loss：损失函数定义为MSE：均方根误差
定义梯度计算函数：

gradient： 需要根据反向传播，计算出代价函数对于权重的梯度，计算结果为grad += 2 * x * (x * w - y);
创建两个空列表，因为后面绘图的时候要用：

开始训练：

外层循环，循环的次数epoch可以自定义：
内层循环：核心计算内容
从数据集中，按数据对儿取出自变量x_val和真实值y_val;
直接调用loss函数，计算单个数据的损失数值；
用backward函数直接对损失值做反向传播；
核心来了——更新权重：
对 w 的 grad.data 做更新，这是重要一步，也是内容非常丰富的地方，不仅是更新了权重，里面还有关于 tensor 的其他基础知识， data 和 grad 的关系， data 是不会构建计算图的，而 grad 是在构建计算图模型；
此处仍不涉及权重清零的问题（TBD）；
随意打印想要看到的内容，一般是打印x_val、y_val、loss_val；
在循环中要把计算的结果，放进之前的空列表，用于绘图；
在获得了打印所需的数据列表只有，模式化地打印图像：

程序如下：

import torch
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.Tensor([1.0])
w.requires_grad = True


def forward(x):
    return x * w  # x_tensor（张量）与w_tensor（张量）数乘


def loss(x, y):   # 构建计算图
    y_pre = forward(x)
    return (y_pre - y) ** 2


epoch_list = []  # 权重
cost_list = []  # 对应权重的损失值
print('predict (before training)', 4, forward(4).item())
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # 前馈 到此，整个计算图构建完成
        l.backward()  # 反馈
        print('\tgrad:', x, y, w.grad.item())  # w.grad.item()表示把W的梯度直接拿出来变成标量
        w.data = w.data - 0.01 * w.grad.data  # w.grad会建立计算图，而w.grad.data不会建立计算图
        w.grad.data.zero_()  # 把权重W的梯度数据全部清零
    print('progress:', epoch, l.item())
    epoch_list.append(epoch)
    cost_list.append(l.item())
print('predict (after training)', 4, forward(4).item())
plt.plot(epoch_list, cost_list)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.grid()
plt.show()

运行结果如下：

 

视频截图： 

 

 

 矩形求导等运算参考书籍——matrix cookbook

为了提高模型复杂度，防止计算过程对计算式进行化简，要增加激活函数（非线性变换函数），目的是为了增加网络复杂性和非线性

 

 

 

 

 

 

 

 

 

 

 

 每调用一次loss函数，就动态的构建一次计算图

 只要一做backward，计算图便被释放了

 L(l)是一个tensor