刘二大人《PyTorch深度学习实践》p4反向传播

一、零碎知识点

1.tensor张量

在机器学习和深度学习领域中，张量（tensor）是一个多维数组（数组可以是标量、向量、矩阵等）。在PyTorch中，张量是一种重要的数据结构，用于存储和操作多维数据。

第一次学张量的话可以去看看这个视频，浅显易懂
链接: PyTorch实战系列01-Tensor是个啥？

# 创建张量
x = torch.tensor([1, 2, 3])  # 一维张量
y = torch.zeros((2, 3))      # 二维全零张量

# 使用张量进行计算图和自动微分
x = torch.tensor(2.0, requires_grad=True)
y = 3 * x + 2
z = y ** 2
z.backward()  # 通过自动微分计算梯度
print(x.grad.item())
# output 48.0

其实就是高等数学里面的复合求导，手写计算如下：

二、课程代码

建议跟着老师的思路先着手计算一遍再去写代码。

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.Tensor([1.0])  # 随机取ω=1，作为tensor张量
w.requires_grad = True
# requires_grad表示它会对这个张量以及这个张量计算的其他张量进行求导
# 说人话就是：对ω以及与ω有关的数进行求导

def forward(x):
    return x * w  # 此时返回的值已不再是数值，还是tensor张量

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print("predict (before training)", 4, forward(4).item())

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print("\tgrad:", x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data  # 取data计算是不会建立计算图的

        w.grad.data.zero_()
        # 将ω的梯度数据置0

    print("epoch:", epoch, l.item())

print("predict (after training)", 4, forward(4).item())

三、课后作业及代码

数据还是我们一直从p2开始到现在的三组学习时长与学分的数据，x为学习时长，y为获得的学分，推测x=4时，y=？，也就是要求我们预测学习4小时，可以获得多少学分。
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
预测：w1=1，w2=1，b=1

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w1 = torch.Tensor([1.0])  # 随机取w1=1，作为tensor张量
w2 = torch.Tensor([1.0])  # 随机取w2=1，作为tensor张量
b = torch.Tensor([1.0])  # 随机取b=1，作为tensor张量
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True

def forward(x):
    return w1 * x**2 + w2 * x + b

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print("predict (before training)", forward(4).item())

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print("\tgrad:", x, y, w1.grad.item(), w2.grad.item(), b.grad.item())

        with torch.no_grad():  # 使用torch.no_grad()上下文管理器避免构建计算图
            w1 -= 0.01 * w1.grad
            w2 -= 0.01 * w2.grad
            b -= 0.01 * b.grad

        w1.grad.zero_()
        w2.grad.zero_()
        b.grad.zero_()

    print("epoch:", epoch, l.item())

print("predict (after training)", forward(4).item())