二、线性回归、数据集读入和softmax回归（补3月前学习笔记）

线性回归

线性回归较为简单，只是一层线性层即可完成计算

生成数据集

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

读取数据集

我们可以[调用框架中现有的API来读取数据]。

我们将features和labels作为API的参数传递，并通过数据迭代器指定batch_size。

此外，布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。

def load_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

batch_size = 10
data_iter = load_array((features, labels), batch_size)

next(iter(data_iter))

[tensor([[ 0.7905, -0.6417],
         [ 0.0951,  0.4038],
         [ 1.0308,  1.2360],
         [ 0.1649,  1.3648],
         [-0.6181,  0.0852],
         [ 1.3205, -1.1111],
         [ 0.2323, -1.1002],
         [-0.4975,  0.3083],
         [-1.6316,  1.1128],
         [ 0.9905, -0.7726]]),
 tensor([[ 7.9710],
         [ 3.0255],
         [ 2.0626],
         [-0.1059],
         [ 2.6642],
         [10.6119],
         [ 8.3992],
         [ 2.1601],
         [-2.8436],
         [ 8.8062]])]

定义模型

对于标准深度学习模型，可以[使用框架的预定义好的层]。这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。我们首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起。给定输入数据时，Sequential实例将数据传入到第一层，然后将第一层的输出作为第二层的输入，以此类推。单层被称为全连接层（fully-connected layer），

在PyTorch中，全连接层在Linear类中定义。将两个参数传递到nn.Linear中。

第一个指定输入特征形状，即2，第二个指定输出特征形状，输出特征形状为单个标量，因此为1。

# nn是神经网络的缩写
from torch import nn
net = nn.Sequential(nn.Linear(2, 1))

(初始化模型参数)

在使用net之前，需要初始化模型参数。深度学习框架通常有预定义的方法来初始化参数。指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样，偏置参数将初始化为零。直接访问参数以设定它们的初始值。通过net[0]选择网络中的第一个图层，然后使用weight.data和bias.data方法访问参数。还可以使用替换方法normal_和fill_来重写参数值。

net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

tensor([0.])

定义损失函数

[计算均方误差使用的是MSELoss类，也称为平方L2范数]。

默认情况下，它返回所有样本损失的平均值。

loss = nn.MSELoss()

定义优化算法

trainer = torch.optim.SGD(net.parameters(), lr=0.03)

训练

对于每一个小批量，我们会进行以下步骤:

• 通过调用net(X)生成预测并计算损失l（前向传播）。

• 通过进行反向传播来计算梯度。

• 通过调用优化器来更新模型参数。

为了更好的衡量训练效果，我们计算每个迭代周期后的损失，并打印它来监控训练过程。

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        #计算损失
        l = loss(net(X) ,y)
        #清楚梯度
        trainer.zero_grad()
        #计算梯度
        l.backward()
        #反向传播参数
        trainer.step()
    #计算
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')

epoch 1, loss 0.000183

epoch 2, loss 0.000101

epoch 3, loss 0.000101

[比较生成数据集的真实参数和通过有限数据训练获得的模型参数]。

w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

w的估计误差： tensor([-0.0003, -0.0002])

b的估计误差： tensor([8.1062e-06])

小结

• 我们可以使用PyTorch的高级API更简洁地实现模型。

• 在PyTorch中，data模块提供了数据处理工具，nn模块定义了大量的神经网络层和常见损失函数。

• 我们可以通过_结尾的方法将参数替换，从而初始化参数。

softmax回归

深度学习框架的高级API能方便地实现softmax回归模型。

import torch
from torch import nn
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

初始化模型参数

[softmax回归的输出层是一个全连接层]。我们只需在Sequential中添加一个带有10个输出的全连接层。

# PyTorch不会隐式地调整输入的形状。因此，
# 我们在线性层前定义了展平层（flatten），来调整网络输入的形状
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))

def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights);

损失函数

[在交叉熵损失函数中传递未规范化的预测，并同时计算softmax及其对数]，

loss = nn.CrossEntropyLoss(reduction='none')

优化算法

(使用学习率为0.1的小批量随机梯度下降作为优化算法)。

trainer = torch.optim.SGD(net.parameters(), lr=0.1)

训练

(定义的训练函数来训练模型)。

num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

小结

• 使用深度学习框架的高级API，我们可以更简洁地实现softmax回归。

• 从计算的角度来看，实现softmax回归比较复杂。在许多情况下，深度学习框架在这些著名的技巧之外采取了额外的预防措施，来确保数值的稳定性。