过拟合欠拟合

QTreeY123

已于 2023-08-23 23:42:12 修改

阅读量182

点赞数 1

文章标签：深度学习 pytorch 人工智能机器学习神经网络

于 2023-04-29 18:01:00 首次发布

本文链接：https://blog.csdn.net/m0_56175815/article/details/130441113

版权

一：回顾

上一节我们了解为什么需要引入非线性模型，介绍了多层感知机的概念，以及利用隐藏层和激活函数来解决无法处理非线性，以及使用pytorch实现了从利用minifashion数据集到预测的整个过程，本次将介绍解决拟合欠拟合的一些方法。

二：过拟合

过拟合指的是模型在训练数据上表现良好，但在测试数据上表现不佳的现象。过拟合的原因在于模型在训练时过度拟合了训练数据中的噪声和细节，导致对新数据的泛化能力下降。一般来说，泛化能力越好说明你的模型也越好，而我们的设计模型的真正的目的，不是为了仅仅预测测试集的正确率，而是在面对未知数据的时候，此模型是否也同样拥有预测测试集那样的正确率甚至更高。（第三个是欠拟合）

更正式地说，我们的目标是发现某些模式，这些模式捕捉到了我们训练集潜在总体的规律。如果成功做到了这点，即使是对以前从未遇到过的个体，模型也可以成功地评估风险。如何发现可以泛化的模式是机器学习深度学习中的根本问题。

困难在于，当我们训练模型时，我们只能访问数据中的小部分样本。最大的公开图像数据集包含大约一百万张图像。而在大部分时候，我们只能从数千或数万个数据样本中学习。在大型医院系统中，我们可能会访问数十万份医疗记录。当我们使用有限的样本时，可能会遇到这样的问题：当收集到更多的数据时，会发现之前找到的明显关系并不成立。因为通常情况下，当我们收集到更多的数据时，模型的泛化能力会更强，因为它有更多的信息可以学习和推广到新的未见过的数据上。但是，在实际情况下，数据集的扩大可能会导致一些意想不到的问题。

首先，更多的数据并不意味着更好的数据。如果新收集的数据质量较差，或者与先前收集的数据有很大的差异，那么它可能会对模型产生负面影响。另外，数据集的扩大可能会带来新的特征或类别，这些特征或类别与之前的样本有很大的差异，模型可能会在处理这些新样本时出现问题。

其次，当我们使用大量数据时，模型的训练成本可能会变得非常高。这可能导致训练时间变长，甚至需要更大的计算资源来训练模型。此外，数据集的扩大可能会导致数据维数的增加，这可能会导致维数灾难问题，从而使模型的训练变得更加困难。

因此，尽管更多的数据可能会提高模型的泛化能力，但我们需要谨慎考虑新数据对模型的影响，并平衡收集更多数据和使用已有数据的效果。

将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合（overfitting），用于对抗过拟合的技术称为正则化（regularization）。在前面的章节中，在用Fashion-MNIST数据集做实验时已经观察到了这种过拟合现象。在实验中调整模型架构或超参数时会发现：如果有足够多的神经元、层数和训练迭代周期，模型最终可以在训练集上达到完美的精度，但是，此时测试集的准确性却下降了。

三：训练误差和泛化误差

为了进一步讨论这一现象，我们需要了解训练误差和泛化误差。 训练误差（training error）是指，模型在训练数据集上计算得到的误差。 泛化误差（generalization error）是指，模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望。

问题是，我们永远不能准确地计算出泛化误差。这是因为无限多的数据样本是一个虚构的对象。在实际中，我们只能通过将模型应用于一个独立的测试集来估计泛化误差，该测试集由随机选取的、未曾在训练集中出现的数据样本构成。

三：训练误差和泛化误差

举个例子：

假设一个大学生正在努力准备期末考试。一个勤奋的学生会努力做好练习，并利用往年的考试题目来测试自己的能力。尽管如此，在过去的考试题目上取得好成绩并不能保证他会在真正考试时发挥出色。例如，学生可能试图通过死记硬背考题的答案来做准备。他甚至可以完全记住过去考试的答案。另一名学生可能会通过试图理解给出某些答案的原因来做准备。在大多数情况下，后者会考得更好。

四：模型复杂性

当我们有简单的模型和大量的数据时，我们期望泛化误差与训练误差相近。当我们有更复杂的模型和更少的样本时，我们预计训练误差会下降，但泛化误差会增大。模型复杂性由什么构成是一个复杂的问题。一个模型是否能很好地泛化取决于很多因素。例如，具有更多参数的模型可能被认为更复杂，参数有更大取值范围的模型可能更为复杂。通常对于神经网络，我们认为需要更多训练迭代的模型比较复杂，而需要早停（early stopping）的模型（即较少训练迭代周期）就不那么复杂。

因为权重的取值范围较大可以增强模型的表达能力，因为神经网络中的每个神经元的输出受到其输入和相应的权重的影响。当权重的取值范围较小时，神经元的输出变化范围也会受到限制，从而限制了模型的表达能力。而当权重的取值范围较大时，神经元的输出变化范围也会相应增大，从而增强了模型的表达能力。

另外，权重的取值范围过小也可能导致梯度消失或梯度爆炸问题，使得模型难以训练。因此，权重的取值范围需要合理选择，一般的做法是将权重初始化在一个较小但不会导致梯度消失或梯度爆炸的范围内，然后通过训练来逐渐调整权重的取值。

当我们比较训练和验证误差时，我们要注意两种常见的情况。首先，我们要注意这样的情况：训练误差和验证误差都很严重，但它们之间仅有一点差距。如果模型不能降低训练误差，这可能意味着模型过于简单（即表达能力不足），无法捕获试图学习的模式。此外，由于我们的训练和验证误差之间的泛化误差很小，我们有理由相信可以用一个更复杂的模型降低训练误差。这种现象被称为欠拟合（underfitting）。

五：.K折交叉验证

当训练数据稀缺时，我们甚至可能无法提供足够的数据来构成一个合适的验证集。这个问题的一个流行的解决方案是采用K折交叉验证。这里，原始训练数据被分成K个不重叠的子集。然后执行K次模型训练和验证，每次在K−1个子集上进行训练，并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。最后，通过对K次实验的结果取平均来估计训练和验证误差。

六：欠拟合还是过拟合？

另一方面，当我们的训练误差明显低于验证误差时要小心，这表明严重的过拟合（overfitting）。注意，过拟合并不总是一件坏事。特别是在深度学习领域，众所周知，最好的预测模型在训练数据上的表现往往比在保留（验证）数据上好得多。最终，我们通常更关心验证误差，而不是训练误差和验证误差之间的差距。

让我们直观地描述了多项式的阶数和欠拟合与过拟合之间的关系。

另外：当训练集的数据较少时，模型容易过度拟合训练集数据，因为模型会试图将训练集中的每个细节都记住，而无法泛化到新的数据上。因此，通常情况下，我们希望在训练模型之前收集足够的数据，以便模型能够更好地泛化到未见过的数据上。

七：多项式回归

我们现在可以通过多项式拟合来探索这些概念。

import math
import numpy as np
import torch
from torch import nn
from d2l import torch as d2l

给定x，我们将使用以下三阶多项式来生成训练和测试数据的标签：

噪声项Σ服从均值为0且标准差为0.1的正态分布。

我们通常希望避免非常大的梯度值或损失值。这就是我们将特征从x的i次方调整为x的i次方/x!的原因，这样可以避免很大的i带来的特别大的指数值。我们将为训练集和测试集各生成100个样本。

max_degree = 20  # 多项式的最大阶数
n_train, n_test = 100, 100  # 训练和测试数据集大小
true_w = np.zeros(max_degree)  # 分配大量的空间，4个,剩下的都是噪声
true_w[0:4] = np.array([5, 1.2, -3.4, 5.6])

# 正态分布：默认均值是0，方差是1
features = np.random.normal(size=(n_train + n_test, 1))
np.random.shuffle(features)
# np.power函数是numpy中的函数，作用是对数组中的每一个元素进行幂运算，第二个参数指定幂的大小，
poly_features = np.power(features, np.arange(max_degree).reshape(1, -1))
for i in range(max_degree):
    poly_features[:, i] /= math.gamma(i + 1)  # gamma(n)=(n-1)!
# labels的维度:(n_train+n_test,)
labels = np.dot(poly_features, true_w)  #生成噪声
labels += np.random.normal(scale=0.1, size=labels.shape)

对模型进行训练和测试

首先让我们实现一个函数来评估模型在给定数据集上的损失:

def evaluate_loss(net, data_iter, loss):  #@save
    """评估给定数据集上模型的损失"""
    metric = d2l.Accumulator(2)  # 损失的总和,样本数量
    for X, y in data_iter:
        out = net(X)
        y = y.reshape(out.shape)
        l = loss(out, y)
        metric.add(l.sum(), l.numel())
    return metric[0] / metric[1]

现在定义训练函数。


def train(train_features, test_features, train_labels, test_labels,
          num_epochs=400):
    loss = nn.MSELoss()
    input_shape = train_features.shape[-1]
    # 不设置偏置，因为我们已经在多项式中实现了它
    net = nn.Sequential(nn.Linear(input_shape, 1, bias=False))
    batch_size = min(10, train_labels.shape[0])
    train_iter = d2l.load_array((train_features, train_labels.reshape(-1,1)),
                                batch_size)
    test_iter = d2l.load_array((test_features, test_labels.reshape(-1,1)),
                               batch_size, is_train=False)
    trainer = torch.optim.SGD(net.parameters(), lr=0.01)
    animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',
                            xlim=[1, num_epochs], ylim=[1e-3, 1e2],
                            legend=['train', 'test'])
    for epoch in range(num_epochs):
        d2l.train_epoch_ch3(net, train_iter, loss, trainer)
        if epoch == 0 or (epoch + 1) % 20 == 0:
            animator.add(epoch + 1, (evaluate_loss(net, train_iter, loss),
                                     evaluate_loss(net, test_iter, loss)))
    print('weight:', net[0].weight.data.numpy())

三阶多项式函数拟合(正常)

我们将首先使用三阶多项式函数，它与数据生成函数的阶数相同。结果表明，该模型能有效降低训练损失和测试损失。学习到的模型参数也接近真实值w

# 从多项式特征中选择前2个维度，即1和x
train(poly_features[:n_train, :2], poly_features[n_train:, :2],
      labels[:n_train], labels[n_train:])

线性函数拟合(欠拟合)

让我们再看看线性函数拟合，减少该模型的训练损失相对困难。在最后一个迭代周期完成后，训练损失仍然很高。当用来拟合非线性模式（如这里的三阶多项式函数）时，线性模型容易欠拟合

# 从多项式特征中选择前2个维度，即1和x
train(poly_features[:n_train, :2], poly_features[n_train:, :2],
      labels[:n_train], labels[n_train:])

高阶多项式函数拟合(过拟合)

现在，让我们尝试使用一个阶数过高的多项式来训练模型。在这种情况下，没有足够的数据用于学到高阶系数应该具有接近于零的值。因此，这个过于复杂的模型会轻易受到训练数据中噪声的影响。虽然训练损失可以有效地降低，但测试损失仍然很高。结果表明，复杂模型对数据造成了过拟合。

# 从多项式特征中选取所有维度
train(poly_features[:n_train, :], poly_features[n_train:, :],
      labels[:n_train], labels[n_train:], num_epochs=1500)

下一篇文章,将讨论过拟合问题和处理这些问题的方法，例如权重衰减和dropout。

所有项目代码+UI界面

视频，笔记和代码,以及注释都已经上传网盘，放在主页置顶文章

QTreeY123

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
过拟合欠拟合

过拟合指的是模型在训练数据上表现良好，但在测试数据上表现不佳的现象。过拟合的原因在于模型在训练时过度拟合了训练数据中的噪声和细节，导致对新数据的泛化能力下降。
复制链接

扫一扫