【动手学习深度学习--逐行代码解析合集】02线性回归的简洁实现

【动手学习深度学习】逐行代码解析合集

02线性回归的简洁实现

---

视频链接：B站-动手学习深度学习
课程主页：https://courses.d2l.ai/zh-v2/
教材：https://zh-v2.d2l.ai/

线性回归的简洁实现-代码

以下代码是在PyCharm中运行的

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

"====================1、生成数据集===================="
def synthetic_data(w, b, num_examples):  #@save
    """生成y=Xw+b+噪声"""
    X = torch.normal(0, 1, (num_examples, len(w)))  # 生成均值为0，方差为1，1000行2列的矩阵X
    y = torch.matmul(X, w) + b
    y += torch.normal(0, 0.01, y.shape)  #噪声矩阵的size需要和y相同
    # reshape(-1,1)代表将二维数组重整为一个一列的二维数组
    # reshape(1,-1)代表将二维数组重整为一个一行的二维数组
    return X, y.reshape((-1, 1))  # reshape(-1,1)中的-1代表无意义

true_w = torch.tensor([2, -3.4])
true_b = 4.2
# 得到的features为【1000，2】,labels为1列
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

"====================2、读取数据集===================="
# 布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。
def load_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器"""
    # TensorDataset用来对 tensor 进行打包，包装成dataset。类似 python 中的 zip 功能
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)  #将数据划分为小批量

batch_size = 10
data_iter = load_array((features, labels), batch_size)
# 使用iter构造Python迭代器，并使用next从迭代器中获取第一项。
# print(next(iter(data_iter)))

"====================3、初始化参数与定义函数===================="
# nn是神经网络的缩写
from torch import nn
# 全连接层在Linear类中定义，第一个参数指定输入特征形状，第二个参数指定输出特征形状
net = nn.Sequential(nn.Linear(2, 1))

"初始化模型参数"
# net[0]选择网络中的第一个图层
# 使用weight.data和bias.data方法访问参数。
# 使用替换方法normal_和fill_来重写参数值。
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

"定义损失函数  均方误差"
# 计算均方误差使用的是MSELoss类，也称为平方L2范数
loss = nn.MSELoss()

"定义优化算法  小批量梯度下降算法"
# 优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值的作用
# 在PyTorch中optim模块中实现了小批量梯度下降算法
# 从net.parameters()中获得需要优化的参数：权重w和偏置b
trainer = torch.optim.SGD(net.parameters(), lr=0.03)

"====================4、训练===================="
# 对于每一个小批量，我们会进行以下步骤:
# 1、通过调用net(X)生成预测并计算损失l（前向传播）。
# 2、通过进行反向传播来计算梯度。
# 3、通过调用优化器来更新模型参数。
num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()   # 梯度清零
        l.backward()  # 对损失函数进行反向传播，计算梯度
        trainer.step()  # 更新学习率
    # 再算一遍loss只是为了输出结果
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')
'''
输出：
epoch 1, loss 0.000181
epoch 2, loss 0.000109
epoch 3, loss 0.000109
'''
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)
'''
输出：
w的估计误差： tensor([-0.0009, -0.0002])
b的估计误差： tensor([0.0010])
'''