使用Pytorch模拟线性回归

线性回归

---

顾名思义，线性回归即解决机器学习中的回归问题。通过对不同的特征赋予不同的权重，以及一个偏置来构建一个回归模型。以达到最好的 拟合数据的效果，并实现预测数据的目的。

我们直接使用pytorch封装好的神经网络模型来完成一个初步的线性回归问题。，

生成数据集

---

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)   #使用d2l，生成参数值为w，b的数据1000个

这样构建的好处是我们可以准确地知道，w和b的正式值。

读取数据集

---

defload_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    returndata.DataLoader(dataset, batch_size, shuffle=is_train)
​
batch_size = 10
data_iter = load_array((features, labels), batch_size)

注：1.TensorDataset可以对特征和标签进行打包，它们通常是按照第一个维度进行一一匹配的。 2.shuffle的布尔值表示是否希望数据迭代器对象在每个迭代周期内打乱数据。

使用data_iter的方式与我们在 3.2节中使用data_iter函数的方式相同。为了验证是否正常工作，让我们读取并打印第一个小批量样本。 与 3.2节不同，这里我们使用iter构造Python迭代器，并使用next从迭代器中获取第一项。

next(iter(data_iter))

[tensor([[ 0.8495, -0.6647],
         [ 0.2459,  0.1758],
         [ 0.1550,  0.0213],
         [ 0.1354, -1.0961],
         [-0.3817,  0.4525],
         [-0.0232, -0.7034],
         [ 0.8532,  0.6442],
         [ 0.0593, -0.4722],
         [-1.7916,  1.4339],
         [ 1.6396, -0.2001]]),
 tensor([[ 8.1759],
         [ 4.0839],
         [ 4.4332],
         [ 8.1947],
         [ 1.9082],
         [ 6.5298],
         [ 3.7000],
         [ 5.9129],
         [-4.2482],
         [ 8.1473]])]

#也可以这样取：
for X,y in data_iter:
    print(X,y)
    break
tensor([[-1.3873, -1.4334],
        [-1.2397,  0.2234],
        [ 0.1161,  1.9895],
        [-1.6316,  0.0797],
        [ 0.1545, -0.3540],
        [-1.0044,  0.8270],
        [ 0.2459,  0.1758],
        [-0.9252, -0.8882],
        [-0.8857,  1.6260],
        [-0.5868,  0.5184]]) tensor([[ 6.2864],
        [ 0.9400],
        [-2.3373],
        [ 0.6633],
        [ 5.7043],
        [-0.6269],
        [ 4.0839],
        [ 5.3773],
        [-3.1098],
        [ 1.2552]])

定义模型

---

我们首先定义一个模型变量net，它是一个Sequential类的实例。 Sequential类将多个层串联在一起。 当给定输入数据时，Sequential实例将数据传入到第一层， 然后将第一层的输出作为第二层的输入，以此类推。 在下面的例子中，我们的模型只包含一个层，因此实际上不需要Sequential。 但是由于以后几乎所有的模型都是多层的，在这里使用Sequential会让你熟悉“标准的流水线”。

在PyTorch中，全连接层在Linear类中定义。 值得注意的是，我们将两个参数传递到nn.Linear中。 第一个指定输入特征形状，即2，第二个指定输出特征形状，输出特征形状为单个标量，因此为1。

# nn是神经网络的缩写（Neural networks）

from torch import nn

net = nn.Sequential(nn.Linear(2, 1))

初始化模型参数

---

我们通过net[0]选择网络中的第一个图层， 然后使用weight.data和bias.data方法访问参数。 我们还可以使用替换方法normal和fill来重写参数值。

net[0].weight.data

tensor([[ 0.6860, -0.0244]])

net[0].bias.data

tensor([0.0082])

重写参数值
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

tensor([0.])

定义损失函数

---

计算均方误差使用的是MSELoss类，也称为平方范数。 默认情况下，它返回所有样本损失的平均值。 所以我们可以通过调用这个类来得到一个实例化loss。

loss = nn.MSELoss()

定义优化算法

---

小批量随机梯度下降算法是一种优化神经网络的标准工具， PyTorch在optim模块中实现了该算法的许多变种。(在后面我们还会使用到更多的基于gradient descent的优化算法) 当我们实例化一个SGD实例时，我们要指定优化的参数 （可通过net.parameters()从我们的模型中获得）以及优化算法所需的超参数字典。 小批量随机梯度下降只需要设置lr值，这里设置为0.03，即我们通常所说的学习率。

trainer = torch.optim.SGD(net.parameters(), lr=0.03)

训练

---

当我们做好了数据准备，定义好了模型，定义好了如何进行调参的算法之后。我们就可以真正地开始训练我们地模型了。

在每一次的训练周期中，我们会重复进行一下步骤： 1.通过调用net(X)生成预测并计算损失（前向传播）。

2.通过进行反向传播来计算梯度。

3.通过调用优化器来更新模型参数。

num_epochs = 3   #训练三次
for epoch in range(num_epochs):
    for X, y in data_iter:   # 每次取十个样本进行训练
        l = loss(net(X) ,y)   # 记录损失函数的大小
        trainer.zero_grad()    # 防止每次的梯度累加
#         l.backward()            #向后传播，自动求导
        trainer.step()           #利用定义的优化算法对参数进行一次更新
    l = loss(net(features), labels)   #在每次训练完成后，计算模型的均方误差。
    print(f'epoch {epoch + 1}, loss {l:f}')

epoch 1, loss 0.000100

epoch 2, loss 0.000100

epoch 3, loss 0.000100

关于此次训练中的相关名词的解释：1.epoch：一个时期=所有训练样本的一个正向传递和一个反向传递。2.iteration：1个iteration等于使用batchsize个样本训练一次。3.batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练。

模型评估

---

我们通过访问神经网络第一层的参数，来估计误差。

w = net[0].weight.data

print('w的估计误差：', true_w - w.reshape(true_w.shape))

b = net[0].bias.data

print('b的估计误差：', true_b - b)

w的估计误差： tensor([-1.5497e-04, 8.2970e-05])

b的估计误差： tensor([0.0010])

总结

---

我们来梳理一下整个的训练流程： 1.自定我们的参数值以及数据。2.对我们的数据使用data类里的相关模块进行处理。 使用TensorDataset进行整合实例化， 使用DataLoador构建数据的迭代器。3.定义我们的神经网络模型：使用Sequential类串联起第一层（后续会有更多的神经网络层由我们来定义），Linear。4.给我们的模型参数一个初始值。5.定义优化算法。（自定义） 6.进行训练。

在深度学习的框架中，对比机器学习。看似对于一个回归问题做起来更加复杂，在机器学习中只需要使用一个LinearRegression便可完成任务。但是它的灵活性（可以自定义神经网络层数，自定义优化算法），准确性无疑是更高的。