from d2l import torch as d2l
# import numpy as np # 这句好像没用到?
import torch
from torch.utils import data
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
print('features:', features[0], '\nlabel', labels[0])
# 读取数据集
def load_array(data_arrays, batch_size, is_train=True):
"""构造一个PyTorch数据迭代器
将输入的多个数组合并为一个PyTorch张量数据集(TensorDataset)
然后使用DataLoader创建一个数据迭代器
DataLoader根据batch_size和shuffle参数配置迭代器的属性。
"""
dataset = data.TensorDataset(*data_arrays)
return data.DataLoader(dataset, batch_size, shuffle=is_train)
batch_size = 10
data_iter = load_array((features, labels), batch_size)
next(iter(data_iter))
# 定义模型 nn是神经网络的缩写
from torch import nn
net = nn.Sequential(nn.Linear(2, 1)) # 第一个指定输入特征形状,即2,第二个指定输出特征形状,输出特征形状为单个标量,因此为1。
"""
在使用net之前,我们需要初始化模型参数,如在线性回归模型中的权重和偏置
深度学习框架通常有预定义的方法来初始化参数
在这里,我们指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样
偏置参数将初始化为零。
我们通过net[0]选择网络中的第一个图层
然后使用weight.data和bias.data方法访问参数
我们还可以使用替换方法normal_和fill_来重写参数值。
"""
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0) # 初始化模型参数
loss = nn.MSELoss() # 损失函数
trainer = torch.optim.SGD(net.parameters(), lr=0.03) # 定义优化算法
# 指定优化的参数 (可通过net.parameters()从我们的模型中获得)
# 小批量随机梯度下降只需要设置lr值,这里设置为0.03。
# 训练
num_epochs = 3
for epoch in range(num_epochs):
for X, y in data_iter:
l = loss(net(X), y)
trainer.zero_grad()
l.backward()
trainer.step()
l = loss(net(features), labels)
print(f'epoch {epoch + 1}, loss {l:f}')
"""在每个迭代周期里,我们将完整遍历一次数据集(train_data),不停地从中获取一个小批量的输入和相应的标签。
对于每一个小批量,我们会进行以下步骤:
通过调用net(X)生成预测并计算损失l(前向传播)。
通过进行反向传播来计算梯度。
通过调用优化器来更新模型参数。
为了更好的衡量训练效果,我们计算每个迭代周期后的损失,并打印它来监控训练过程。
"""
w = net[0].weight.data
print('w的估计误差:', true_w - d2l.reshape(w, true_w.shape))
b = net[0].bias.data
print('b的估计误差:', true_b - b)
结果: