零基础-动手学深度学习-4.4模型选择、欠拟合和过拟合

目录

一、训练误差和泛化误差

二、模型选择

三、多项式回归

---

鄙人生医转码，道行浅薄请见谅，仅作笔记交流使用~

一、训练误差和泛化误差

训练误差：模型在训练数据上的误差

泛化误差：模型在新数据上的误差

训练，验证，测试

1.统计学习理论

我觉得这一chap存在的意义是为了将统计学中的独立同分布假设运用来进行一个理论的补充，老师在课上讲了时训练数据集，验证数据集，还有测试数据集的差别，训练数据集是进行拟合的数据集，同时在原本数据集取出的，剩下的没有用过的作为验证数据集，而测试数据集只测试结果一次，这么做就是防止过拟合的结果出现，增加模型的泛化性。

2.模型复杂性

模型的复杂性我觉得就用书上一句话概括就行：当我们有简单的模型和大量的数据时，我们期望泛化误差与训练误差相近。 当我们有更复杂的模型和更少的样本时，我们预计训练误差会下降，但泛化误差会增大：

不同模型之间难以比较，相同模型之间看参数数量，参数值，训练样本数量 

二、模型选择

1.验证集

原则上，在我们确定所有的超参数之前，我们不希望用到测试集。 如果我们在模型选择过程中使用测试数据，可能会有过拟合测试数据的风险，这就是验证集的意义。

2.折交叉验证K

当训练数据稀缺时，我们甚至可能无法提供足够的数据来构成一个合适的验证集。 这个问题的一个流行的解决方案是采用折交叉验证。 这里，原始训练数据被分成K个不重叠的子集。 然后执行次模型训练和验证，每次在个子集上进行训练， 并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证

三、多项式回归

首先导入我们需要的库： 

import math
import numpy as np
import torch
from torch import nn
from d2l import torch as d2l

 1.生成数据集

书上用以下三阶多项式来生成训练和测试数据的标签，各有100个样本：

max_degree = 20  # 多项式的最大阶数
n_train, n_test = 100, 100  # 训练和测试数据集大小
true_w = np.zeros(max_degree)  # 分配大量的空间
true_w[0:4] = np.array([5, 1.2, -3.4, 5.6])

features = np.random.normal(size=(n_train + n_test, 1))
#生成 n_train + n_test（200 个）从正态分布（均值为 0，方差为 1）中随机采样的特征值，每个样本有一个特征（形状为 (200, 1)）
np.random.shuffle(features)
#将特征值随机打乱，以确保它们没有特定的顺序
poly_features = np.power(features, np.arange(max_degree).reshape(1, -1))
#将特征扩展为最高 19 阶的多项式特征。对于每个样本，它计算从 0 到 max_degree-1 的特征的幂次。结果是一个矩阵，每列对应于原始特征的更高次幂
for i in range(max_degree):
    poly_features[:, i] /= math.gamma(i + 1)  # gamma(n)=(n-1)!
    #使用 Gamma 函数（gamma(n) = (n-1)!）按阶数归一化每个多项式特征。这样可以在处理高阶多项式特征时保持数值稳定性
# labels的维度:(n_train+n_test,)
labels = np.dot(poly_features, true_w)
#通过将多项式特征与 true_w 权重相乘来计算标签（输出）。每个标签是多项式项的线性组合，权重由 true_w 中的相应系数决定。
labels += np.random.normal(scale=0.1, size=labels.shape)
#给标签添加一个小的高斯噪声（标准差为 0.1），以模拟测量噪声或数据中的自然波动。

 这里的生成其实挺复杂的，代码使用多项式特征扩展是为了创建非线性的输入特征，从而能够训练一个非线性模型，使用 Gamma 函数进行归一化是为了防止特征值在高阶多项式时变得非常大，w数组中只有前 4 个权重（0阶到3阶）被设置为非零值，而其余权重为 0。这是为了控制模型的复杂度，确保生成的数据主要受低阶多项式项的影响，而高阶多项式项被忽略

2.对模型进行训练和测试

评定损失的函数：很好写

def evaluate_loss(net, data_iter, loss):  #@save
    """评估给定数据集上模型的损失"""
    metric = d2l.Accumulator(2)  # 损失的总和,样本数量
    for X, y in data_iter:
        out = net(X)
        y = y.reshape(out.shape)
        l = loss(out, y)
        metric.add(l.sum(), l.numel())
    return metric[0] / metric[1]

然后定义训练函数：

def train(train_features, test_features, train_labels, test_labels,
          num_epochs=400):
    loss = nn.MSELoss(reduction='none')
    #计算均方误差（MSE），即预测值与实际值的差值的平方和,reduction='none' 表示不对损失做任何归约操作，返回与输入相同形状的张量
    input_shape = train_features.shape[-1]
    # 不设置偏置，因为我们已经在多项式中实现了它
    net = nn.Sequential(nn.Linear(input_shape, 1, bias=False))
    batch_size = min(10, train_labels.shape[0])
    train_iter = d2l.load_array((train_features, train_labels.reshape(-1,1)),
                                batch_size)
    test_iter = d2l.load_array((test_features, test_labels.reshape(-1,1)),
                               batch_size, is_train=False)
    #使用 d2l.load_array 将特征和标签加载为可以迭代的数据集（类似于 PyTorch 的 DataLoader）
    #并将标签调整为列向量形式（reshape(-1, 1)），以适应模型的输入格式
    #batch_size 定义了每次迭代的批量大小
    trainer = torch.optim.SGD(net.parameters(), lr=0.01)
    #使用随机梯度下降（SGD）作为优化器，学习率为 0.01
    animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',
                            xlim=[1, num_epochs], ylim=[1e-3, 1e2],
                            legend=['train', 'test'])
    #训练循环
    for epoch in range(num_epochs):
        d2l.train_epoch_ch3(net, train_iter, loss, trainer)
        if epoch == 0 or (epoch + 1) % 20 == 0:
            animator.add(epoch + 1, (evaluate_loss(net, train_iter, loss),
                                     evaluate_loss(net, test_iter, loss)))
    print('weight:', net[0].weight.data.numpy())
    #在训练结束后，打印出线性回归模型的权重（系数）。
    #net[0] 是模型中的线性层，通过 weight.data.numpy() 获取权重值并以 NumPy 数组形式输出

3.拟合结果

正常：

# 从多项式特征中选择前4个维度，即1,x,x^2/2!,x^3/3!
train(poly_features[:n_train, :4], poly_features[n_train:, :4],
      labels[:n_train], labels[n_train:])

欠拟合：loss很大 

# 从多项式特征中选择前2个维度，即1和x
train(poly_features[:n_train, :2], poly_features[n_train:, :2],
      labels[:n_train], labels[n_train:])

过拟合：test大于train很多 

# 从多项式特征中选取所有维度
train(poly_features[:n_train, :], poly_features[n_train:, :],
      labels[:n_train], labels[n_train:], num_epochs=1500)