使用深度学习框架来实现线性回归模型

使用深度学习框架来实现线性回归模型

一、生成数据集

直接调用d2l中的synthetic_data生成数据集

# 生成数据集
import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2,-3.4])
true_b = 4.2
features,labels = d2l.synthetic_data(true_w,trye_b,1000)  # 生成X，和y

二、读取数据集

 调用框架中现有的API来读取数据，我们将features和labels作为API的参数传递，并通过数据迭代器指定batch_size,此外布尔值is_train表示是否希望数据迭代器对象在每一个迭代周期内打乱数据。

# 读取数据集
def load_array(data_arrays,batch_size,is_train = True):
    """构造一个Pytorch数据迭代器"""
    # TensorDataset对数据进行封装，传入参数是：data_tensor target_tensor 所以这里对元组进行解包操作
    dataset = data.TensorDataset(*data_arrays)
    
    # DataLoader对数据进行加载
    return data.DataLoader(dataset,batch_size,shuffle = is_train)

batch_size = 10
# 返回一个迭代器
data_iter = load_array((features,labels),batch_size)
next(iter(data_iter))

这里使用Iter构造python迭代器，并使用Next从迭代器中获取第一项。

三、定义模型

 对于标准深度学习模型，我们可以使用框架的预定义好的层。首先定义一个模型变量Net,它是一个Squential类的实例，Sequential类将多个层串联在一起。当给定输入数据时，Sequential实例将数据传入到第一层中，然后将第一层的输出作为第二层的输入

 线性回归模型是单层网络结构，这一单层称之为全连接层（full-connected layer）。全连接层在Linear类中定义，将两个参数传入nn.Linear中，第一个指定输入特征形状，即2，第二个指定输出特征形状，输出特征形状为单个标量，即1

# nn是神经网络的缩写
from torch import nn
net = nn.Sequential(nn.Linear(2,1))

四、初始化模型参数

 net[0]选择网络中的第一个层，使用weight.data和bias.data方法访问参数，我们还可以使用替换的方法normal_和fill_来重写参数值。

net[0].weight.data.normal_(0,0.01)
net[0].bias.data.fill_(0)

五、定义损失函数

loss = nn.MSELoss()

计算均方误差使用的是MSELoss类，也称之为平方L2范数，它返回所有样本损失的平均值。

六、定义优化算法

 小批量随机梯度下降算法是优化神经网络的标准工具，Pytorch在optim模块中实现了该算法的许多变种，当实例化一个SGD实例，我们要指定优化的参数（可以通过Net.parameters()从我们的模型中获得）以及优化算法所需要的超参数字典。小批量随机梯度下降只需要设置学习率。

trainer = torch.optim.SGD(net.parameters(),lr = 0.03)

七、训练

 在每一个迭代周期里面，我们将遍历一次数据集，不停的从中获取一个小批量的输入和相应的标签，对于每一个小批量数据集，都会进行一下操作：

• 通过net(X)生成预测并计算损失l（前向传播）
• 通过进行反向传播来计算梯度
• 通过调用优化器来更新模型参数

num_epochs = 3
for epoch in range(num_epochs):
    for X,y in data_iter:
        l = loss(net(X),y) # 计算损失函数
        trainer.zero_grad()  # 梯度清零
        l.backward()  # 计算损失函数的梯度 反向传播
        trainer.step()  # 优化参数
    l = loss(net(features),labels)
    print(f'epoch {epoch + 1},loss {l:f}')

w = net[0].weight.data
print('w的估计误差： ',true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：',true_b - b)