《动手学深度学习》学习笔记：08 线性回归

李沐大神b站官方视频：【动手学深度学习v2】

08 线性回归

       线性回归可以看做是一层的神经网络，那么它的构建与训练的流程是相当完善的，可以通过解剖这只麻雀来熟悉神经网络从构建数据集到预测的全部流程。

       整体包括了生成数据集、读取数据集、定义模型、初始化模型参数、定义损失函数、定义优化算法、训练、预测等过程。

import numpy as np
import torch
from torch.utils import data
from torch import nn

"""构建数据集的函数"""
def synthetic_data(w, b, num_examples):  
    #生成y = Xw + b + 噪声
    X = torch.normal(0, 1, (num_examples, len(w))) #正态分布
    y = torch.matmul(X, w) + b #计算出训练样本对应的标签值
    y += torch.normal(0, 0.01, y.shape) #加上噪声数据
    return X, y.reshape((-1, 1))

"""构造一个PyTorch数据迭代器"""
def load_array(data_arrays, batch_size, is_train=True): 
    dataset = data.TensorDataset(*data_arrays) #创建数据集（torch设定好的一个类）
    return data.DataLoader(dataset, batch_size, shuffle=is_train) #shuffle = true则会随机抽取样本

"""构建数据集"""
true_w = torch.tensor([2, -3.4]) #预设好需要学习的w与b参数
true_b = 4.2
features, labels = synthetic_data(true_w, true_b, 1000) #构建数据集

"""组建好训练批次"""
batch_size = 10 #批次大小
data_iter = load_array((features, labels), batch_size) #调用函数生成三组训练样本，每组10个
#next(iter(data_iter)) 可以用此语句来输出迭代器下一批样本（检查）

"""构建模型"""
net = nn.Sequential(nn.Linear(2, 1)) #list of layers

"""初始化模型参数"""
net[0].weight.data.normal_(0, 0.01) #weight.data代表对权值的数值进行操作
net[0].bias.data.fill_(0)

"""定义损失函数"""
loss = nn.MSELoss() #mse

"""定义优化算法"""
trainer = torch.optim.SGD(net.parameters(), lr=0.03) #随机梯度下降算法

"""训练模型"""
num_epochs = 3 #迭代三轮，每轮有100组bitch_size = 10的样本
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y) #计算损失
        trainer.zero_grad() #梯度重置
        l.backward() #通过反向传播计算出梯度
        trainer.step() #优化器步进，根据梯度更新参数
    l = loss(net(features), labels) #计算出真实w,b与预测w,b之间的mse误差
    print(f'epoch {epoch + 1}, loss {l:f}')