线性回归的简洁实现
实现步骤
生成数据集
#导包
import random
import torch
import numpy as np
from torch.utils import data
from d2l import torch as d2l
定义生成数据集的函数
def synthetic_data(w, b, num_examples): #@save
"""生成y=Xw+b+噪声"""
X = torch.normal(0, 1, (num_examples, len(w))) #以符合N(0,1)的正态分布随机生成X,大小为[num_examples,len(w)]
y = torch.matmul(X, w) + b #生成y,y=X·w+b
y += torch.normal(0, 0.01, y.shape) #生成噪音,噪音符合N(0,0.01)的正态分布
return X, y.reshape((-1, 1))
生成数据集
#定义真实的w,b
true_w = torch.tensor([2, -3.4])
true_b = 4.2
#以真实的w,b生成X,y
features, labels = synthetic_data(true_w, true_b, 1000)
读取数据集
#利用框架中现有的API来读取数据
#is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据
def load_array(data_arrays, batch_size, is_train=True): #@save
"""构造一个PyTorch数据迭代器"""
dataset = data.TensorDataset(*data_arrays) #对数据进行封装
return data.DataLoader(dataset, batch_size, shuffle=is_train) #对数据进行加载
batch_size = 10
data_iter = load_array((features, labels), batch_size)
next(iter(data_iter)) #从 data_iter 中获取下一个元素。
#其中 iter() 函数是将可迭代对象转换成迭代器,next() 函数则是获取迭代器的下一个元素。
#因此,这段代码的作用是获取 data_iter 中的第一个元素。
定义模型
#nn是神经网络的缩写
from torch import nn
net=nn.Sequential(nn.Linear(2,1))
初始化模型参数
#初始化模型参数
#net[0]表示选择网络中的第一个图层
net[0].weight.data.normal_(0,0.01)
net[0].bias.data.fill_(0)
定义损失函数
#计算均方误差使用的是MSELoss类,也称为平方范数
loss=nn.MSELoss()
定义优化算法
#定义优化算法
#实例化SGD实例
trainer=torch.optim.SGD(net.parameters(),lr=0.03)
训练
num_epochs = 3
#在每个epoch中,通过data_iter迭代器遍历训练数据集,计算损失l并进行反向传播和参数更新。
#然后,计算并打印该epoch的损失值。
for epoch in range(num_epochs):
for X, y in data_iter:
l = loss(net(X) ,y)
trainer.zero_grad() #trainer.zero_grad()用于清空模型参数的梯度
l.backward() #l.backward()用于计算梯度
trainer.step() #trainer.step()用于更新模型参数。
l = loss(net(features), labels)
print(f'epoch {epoch + 1}, loss {l:f}')
#误差
w = net[0].weight.data
print('w的估计误差:', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差:', true_b - b)
总结
这就是线性回归使用Pytorch的一整个流程,首先是生成数据集(这一步仅在这里使用,一般都会有给定的数据集),接着读取数据集:使用data.TensorDataset将输入特征和标签封装为一个Dataset对象。然后,使用data.DataLoader加载Dataset对象读取数据。然后定义模型并初始化模型的参数,这里使用的是线性模型。定义损失函数和优化算法,损失函数使用的是MSELoss类,即平方L2范数,优化算法使用的是小批量随机梯度下降算法。最后是模型的训练和误差评估。