3.3 线性回归的简洁实现

使用深度学习框架来简洁实现线性回归模型

💻 参考资料：李沐《动手学深度学习-Pytorch版》📢ch3 线性神经网络
🎈 开源地址：动手学深度学习
🔊 链接至上一节：3.2 线性回归的从零开始实现
🎀 此篇仅仅学习记录，更详细的内容可参考开源的书和代码以及b站上李沐老师的视频动手学深度学习在线课程。

1. 线性回归的简洁实现

1.0 导入Python包

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

1.1 生成数据集

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

此处synthetic_data可以参考3.2节线性回归的从零开始实现。

1.2 读取数据集

通过调用框架中现有的API来读取数据。将features和labels作为API的参数传递，并通过数据迭代器指定batch_size。此外，布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。如果is_train为True，则在每个时期之间对数据进行洗牌，以创建每个时期的不同批次。如果is_train为False，则数据将不会被洗牌，允许对模型进行一致的评估。

# 使用PyTorch库创建数据迭代器的Python函数
# 该函数从输入数据数组创建了一个PyTorch TensorDataset对象，这是一个PyTorch数据集，用于表示张量集合。
# 然后，它从TensorDataset创建了一个DataLoader对象，这是一个PyTorch类，提供了给定数据集的可迭代对象。
# DataLoader对象由函数返回，并可用于在训练或评估机器学习模型时以批次迭代数据。
def load_array(data_arrays, batch_size, is_train=True):
    """构造一个PyTorch数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size,shuffle=is_train)

# 读取并打印第一个小批量样本
batch_size = 10
data_iter = load_array((features, labels), batch_size)

# 使用iter函数构造Python迭代器,并使用next函数从迭代器中获取第一项。
next(iter(data_iter))

[tensor([[-1.2772, -2.3171],
         [ 0.4303,  2.1844],
         [ 0.3952, -0.2961],
         [ 0.0498, -1.9889],
         [ 1.1695, -0.2995],
         [-0.1652,  0.8298],
         [ 0.9419,  1.3811],
         [-1.3571,  0.3549],
         [-0.0884, -1.5891],
         [ 0.9178, -0.7952]]),
 tensor([[ 9.5265],
         [-2.3891],
         [ 5.9926],
         [11.0557],
         [ 7.5470],
         [ 1.0323],
         [ 1.3855],
         [ 0.2730],
         [ 9.4282],
         [ 8.7383]])]

1.3 定义模型

对于标准深度学习模型，可以使用框架的预定义好的层。这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起。当给定输入数据时，Sequential实例将数据传入到第一层，然后将第一层的输出作为第二层的输入，以此类推。

全连接层（fully-connected layer），它的每一个输入都通过矩阵-向量乘法得到它的每个输出。

from torch import nn
# 先定义一个模型变量net，他是一个Sequential类的实例。
# Sequential类将多个层串联在一起。
# 当给定输入数据时，Sequential实例将数据传入第一层，然后将第一层的输出作为第二层的输入，以此类推。

# 在PyTirch中，全连接层在Linear类中定义。将两个参数传递到nn.Linear中。
# 第一个参数指定输入特征形状，即2；
# 第二个参数指定输出特征形状，输出特征形状为单个标量，因此为1。
net = nn.Sequential(nn.Linear(2, 1))

1.4 初始化模型参数

在使用net之前，需要初始化模型参数。如在线性回归模型中的权重和偏置。深度学习框架通常有预定义的方法来初始化参数。在这里，指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样，偏置参数将初始化为零。

# 通过net[0]选择网络中的第一层
# 使用weight.data和bias.data方法访问参数
# 还可以使用替换方法normal_和fill_来重写参数值。

net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

tensor([0.])

1.5 定义损失函数

计算均方误差使用的是MSELoss类，也称为平方$L_2$范数。默认情况下，它返回所有样本损失的平均值。

loss = nn.MSELoss()  # 计算均方误差，返回所有样本损失的平均值。

1.6 定义优化算法

小批量随机梯度下降算法是一种优化神经网络的标准工具，PyTorch在optim模块中实现了该算法的许多变种。当实例化一个SGD实例时，我们要指定优化的参数
（可通过net.parameters()从我们的模型中获得）以及优化算法所需的超参数字典。小批量随机梯度下降只需要设置lr值，这里设置为0.03。

# PyTorch在optim模块中，实例化一个SGD实例时，我们要指定优化的参数（可通过net.parameters()从模型中获得）以及优化算法所需要的超参数字典。
trainer = torch.optim.SGD(net.parameters(), lr=0.03)

1.7 训练

在每个迭代周期里，将完整遍历一次数据集（train_data），不停地从中获取一个小批量的输入和相应的标签。对于每一个小批量，进行以下步骤:

• 通过调用net(X)生成预测并计算损失l（前向传播）。
• 通过进行反向传播来计算梯度。
• 通过调用优化器来更新模型参数。

为了更好的衡量训练效果，计算每个迭代周期后的损失，并打印它来监控训练过程。

# 首先，num_epochs被设置为3，表示整个数据集将被遍历3次（即进行3个时期的训练）。
num_epochs = 3


# 然后，使用一个嵌套的循环进行训练。外部循环迭代每个时期，而内部循环迭代数据迭代器data_iter中的每个批次。
for epoch in range(num_epochs):
    for X, y in data_iter:
        # 在每个批次中，输入特征X和相应的标签y被提供给神经网络模型net进行前向传播，计算输出并计算损失l。
        l = loss(net(X), y)
        # 然后，优化器trainer的zero_grad()方法被调用以清除之前的梯度，
        trainer.zero_grad()
        # 然后使用backward()方法计算新梯度。
        l.backward()
        # 最后，trainer的step()方法被调用以更新神经网络模型的参数。
        trainer.step()
    # 在每个时期的最后，整个数据集（即features和labels）都被提供给神经网络模型进行前向传播并计算损失。
    l = loss(net(features), labels)
    print(f'epoch{epoch +1},loss{l:f}')

epoch1,loss0.000171
epoch2,loss0.000105
epoch3,loss0.000104

比较生成数据集的真实参数和通过有限数据训练获得的模型参数。要访问参数，我们首先从net访问所需的层，然后读取该层的权重和偏置。

w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

w的估计误差： tensor([-0.0008, -0.0003])
b的估计误差： tensor([0.0002])

2. 引用

引用原书:

@book{zhang2019dive,
    title={Dive into Deep Learning},
    author={Aston Zhang and Zachary C. Lipton and Mu Li and Alexander J. Smola},
    note={\url{http://www.d2l.ai}},
    year={2020}
}

3. softmax回归

🚩🚩🚩链接至下一节：3.4 softmax回归