PyTorch深度学习实践——4 反向传播（课堂记录）

UP：B站-刘二大人

原视频链接：04.反向传播_哔哩哔哩_bilibili

'''
首先，介绍一下Tensor和tensor的区别：
在PyTorch中，Tensor和tensor都能用于生成新的张量：

a=torch.Tensor([1,2])
print(a)
tensor([1., 2.])
a=torch.tensor([1,2])
print(a)
tensor([1, 2])

torch.Tensor生成的张量默认采用数据类型“FloatTensor”，
而torch.tensor则是识别输入数据的数据类型，从而生成对应数据类型的张量：
torch.tensor(data, dtype=None, device=None, requires_grad=False) # 第二个参数为指定数据类型，第四个参数是指是否需要计算梯度
其中data可以是：list, tuple, NumPy ndarray, scalar和其他类型。
torch.tensor会从data中的数据部分做拷贝（而不是直接引用），根据原始数据类型生成相应的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor。

1、下面程序中的w是Tensor(张量类型)，Tensor中包含data和grad，data和grad也是Tensor，grad初始为None。
2、w.data 表示张量w的值，其本身也是张量,输出格式tensor[数]。 w.grad 表示张量w的梯度，其本身w.grad是张量，用时(标量计算时)需要取w.grad.data，表示张量w.grad的值,输出格式tensor[数]。用w.grad.item()，表示返回的是一个具体的数值,输出格式[数]
3、调用l.backward()方法后w.grad为Tensor，故更新w.data时需使用w.grad.data来更新梯度值。
4、如果w需要计算梯度，那构建的计算图中，跟w相关的tensor都默认需要计算梯度，如：forward函数的返回值是Tensor，loss函数的返回值也是Tensor。
5、本算法中反向传播主要体现在，l.backward()。调用该方法后w.grad由None更新为Tensor类型，且w.grad.data的值用于后续w.data的更新。
6、l.backward()会把计算图中所有需要梯度(grad)的地方都会求出来，然后把梯度都存在对应的待求的参数中，最终计算图被释放。
7、取tensor中的data是不会构建计算图的。
8、# .item()用于在只包含一个元素的Tensor中提取值，把张量变成标量，注意是只包含一个元素，否则的话使用.tolist()
'''


import torch
import numpy as np
import matplotlib.pyplot as plt

''' y = w * x '''

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.tensor([1.0])  # w的初值为1.0，是Tensor类型
w.requires_grad = True  # 需要计算梯度，默认是False


def forward(x):
    return x * w  # w是一个Tensor，x也会自动被调整成Tensor,所以返回值也是Tensor

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2 # 返回值也是Tensor

print("predict (before training)", 4, forward(4).item()) # .item()用于在只包含一个元素的Tensor中提取值，注意是只包含一个元素，否则的话使用.tolist()

epoch_list = []
loss_list = []
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # l是一个张量，tensor主要是在建立计算图
        l.backward() # 每次进行一次反向传播，计算图就会被释放，在下一次迭代中构建新的计算图
        print('\tgrad:', x, y, l, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data  # 权重更新时，注意grad也是一个tensor，所以需要加.data去更新数值

        w.grad.data.zero_()  # 把权重中的梯度数据全部清零，如果不清零下一次运算时会把新的梯度加到上一次的梯度上

    epoch_list.append(epoch)
    loss_list.append(l.item())
    print('epoch:', epoch, l.item())  # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）

print("predict (after training)", 4, forward(4).item())

plt.plot(epoch_list, loss_list)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()