【Dive into Deep Learning |第三章 线性神经网络】3.3 线性回归的简洁实现（代码含注释）

线性回归的简洁实现

实现步骤

生成数据集

#导包
import random
import torch
import numpy as np
from torch.utils import data
from d2l import torch as d2l

---

定义生成数据集的函数

def synthetic_data(w, b, num_examples):  #@save
    """生成y=Xw+b+噪声"""
    X = torch.normal(0, 1, (num_examples, len(w)))  #以符合N(0,1)的正态分布随机生成X，大小为[num_examples,len(w)]
    y = torch.matmul(X, w) + b   #生成y，y=X·w+b
    y += torch.normal(0, 0.01, y.shape) #生成噪音，噪音符合N(0,0.01)的正态分布
    return X, y.reshape((-1, 1))

---

生成数据集

#定义真实的w，b
true_w = torch.tensor([2, -3.4])
true_b = 4.2
#以真实的w，b生成X，y
features, labels = synthetic_data(true_w, true_b, 1000)

读取数据集

#利用框架中现有的API来读取数据
#is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据
def load_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器"""
    dataset = data.TensorDataset(*data_arrays) #对数据进行封装
    return data.DataLoader(dataset, batch_size, shuffle=is_train) #对数据进行加载

---

batch_size = 10
data_iter = load_array((features, labels), batch_size)
next(iter(data_iter)) #从 data_iter 中获取下一个元素。
#其中 iter() 函数是将可迭代对象转换成迭代器，next() 函数则是获取迭代器的下一个元素。
#因此，这段代码的作用是获取 data_iter 中的第一个元素。

定义模型

#nn是神经网络的缩写
from torch import nn
net=nn.Sequential(nn.Linear(2,1))

初始化模型参数

#初始化模型参数
#net[0]表示选择网络中的第一个图层
net[0].weight.data.normal_(0,0.01)
net[0].bias.data.fill_(0)

定义损失函数

#计算均方误差使用的是MSELoss类，也称为平方范数
loss=nn.MSELoss()

定义优化算法

#定义优化算法
#实例化SGD实例
trainer=torch.optim.SGD(net.parameters(),lr=0.03)

训练

num_epochs = 3
#在每个epoch中，通过data_iter迭代器遍历训练数据集，计算损失l并进行反向传播和参数更新。
#然后，计算并打印该epoch的损失值。
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()  #trainer.zero_grad()用于清空模型参数的梯度
        l.backward()  #l.backward()用于计算梯度
        trainer.step() #trainer.step()用于更新模型参数。
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')

---

#误差
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

总结

这就是线性回归使用Pytorch的一整个流程，首先是生成数据集（这一步仅在这里使用，一般都会有给定的数据集），接着读取数据集：使用data.TensorDataset将输入特征和标签封装为一个Dataset对象。然后，使用data.DataLoader加载Dataset对象读取数据。然后定义模型并初始化模型的参数，这里使用的是线性模型。定义损失函数和优化算法，损失函数使用的是MSELoss类，即平方L2范数，优化算法使用的是小批量随机梯度下降算法。最后是模型的训练和误差评估。