02.PyTorch张量

0.引言

实现目标：使用PyTorch 张量(tensor)来手动实现前向传播，损失(loss)和反向传播。这里我们准备一个三阶多项式，通过最小化平方欧几里得距离来训练，并预测函数 y = sin(x) 在-pi到pi上的值。

numpy 数组和 PyTorch 张量之间的最大区别在于，PyTorch 张量可以在 CPU 或 GPU 上运行。如果要在 GPU 上运行，只需将张量转换为 cuda 数据类型。

1.tensor运行模式的选择

import torch
import math

dtype = torch.float
device = torch.device("cpu")
# device = torch.device("cuda:0") # 在GPU运行的写法

如果想在cpu运行按照上述代码定义即可，如果想在GPU上运行，需要配置好cuda，按照注释的写法去定义device。

2.造数据环节

创造一些我们训练用的数据，我们需要的是：y = sin(x) 在-pi到pi上的值。所以：

x = torch.linspace(-math.pi, math.pi, 2000, device=device, dtype=dtype)
y = torch.sin(x)

3.随机初始化权重

a = torch.randn((), device=device, dtype=dtype)
b = torch.randn((), device=device, dtype=dtype)
c = torch.randn((), device=device, dtype=dtype)
d = torch.randn((), device=device, dtype=dtype)

4.训练过程

learning_rate = 1e-6
for t in range(2000):
    # 正向传递：计算预测y
    y_pred = a + b * x + c * x ** 2 + d * x ** 3

    # 计算输出loss
    loss = (y_pred - y).pow(2).sum().item()
    if t % 100 == 99:
        print(t, loss)

    # 反向传播计算a,b,c,d的梯度损失
    grad_y_pred = 2.0 * (y_pred - y)
    grad_a = grad_y_pred.sum()
    grad_b = (grad_y_pred * x).sum()
    grad_c = (grad_y_pred * x ** 2).sum()
    grad_d = (grad_y_pred * x ** 3).sum()

    # 使用梯度下降更新权重
    a -= learning_rate * grad_a
    b -= learning_rate * grad_b
    c -= learning_rate * grad_c
    d -= learning_rate * grad_d

我们在上一步随机初始化了a,b,c,d四个权重，在训练过程中，预测值y_pred是由a+bx+cx^2+dx^3组成的，那么在最开始由于a,b,c,d是随机的，y_pred和真实的y相差可能很大，但是这个不要紧，先使用loss记录一下就可以了。

接下来我们要计算一下每次训练a,b,c,d的梯度损失，grad_y_pred是将真实值和预测值相差乘2，扩大损失（这里可以理解为一种加速训练的方法）。用于反向传播的值，就是将grad_y_pred与原式各部分相乘并求和，例如首项a是常数项，则直接对a求和，第二项是x，则求grad_y_pred乘x的和，反向传播的表示方法有很多，这只是其中一种情况，稍作了解即可。

通过用原来（a,b,c,d）的值 - 学习率与计算好的grad_a\b\c\d相乘，不断更新权重，达到预测值不断贴近真实值的效果。

5.查看一下a,b,c,d更新到最后的值

print(f'Result: y = {a.item()} + {b.item()} x + {c.item()} x^2 + {d.item()} x^3')