PyTorch简单线性回归的实现

# forward
import torch
#数据集
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.Tensor([1.0])#Tensor是用来存储数据的，它用来保存权重值和损失函数对权重的导数，初始权值为1.0
w.requires_grad = True#True代表对w求梯度
def forward(x):#计算y_hat(预测值)
    return x * w
def loss(x, y):#计算损失函数
    y_pred = forward(x)
    return (y_pred - y) ** 2
print("predict (before training)", 4, forward(4).item())#计算权重训练前的y_hat
for epoch in range(100):#进行一百次训练
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()#用于计算路径上所有梯度，梯度会保存到前面设定的w = torch.Tensor([1.0])里面，保存完了之后就会被释放
        print('\tgrad:', x, y, w.grad.item())#输出对应的权重梯度（导数）
        w.data = w.data - 0.01 * w.grad.data#更新权重，梯度下降核心公式，0，01是训练速率
        w.grad.data.zero_()#把权重的梯度数据清0，不清0数据就会堆积
    print("progress:", epoch, l.item())#输出每次迭代的，最后的l = loss(x, y)，可以观察到loss不断减少
print("predict (after training)", 4, forward(4).item())#计算权重训练后的y_hat