神经网络训练欠拟合解决方法_知识干货动手学深度学习（pytorch）04、过拟合、欠拟合及解决方案...

最新推荐文章于 2022-09-13 15:23:23 发布

雨沐森林

最新推荐文章于 2022-09-13 15:23:23 发布

阅读量803

点赞数

文章标签：神经网络训练欠拟合解决方法

本文链接：https://blog.csdn.net/weixin_33454551/article/details/113536914

版权

本文介绍了过拟合和欠拟合的概念，强调了泛化误差的重要性。欠拟合是指模型训练误差高，可能由于模型复杂度过低或数据量不足。为解决这个问题，文章提到了权重衰减和丢弃法等方法，并讨论了验证数据集和K折交叉验证在模型选择中的作用。

摘要由CSDN通过智能技术生成

过拟合、欠拟合的概念
权重衰减
丢弃法

一、模型选择、过拟合和欠拟合

训练误差和泛化误差

在解释上述现象之前，我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。

机器学习模型应关注降低泛化误差。

模型选择

验证数据集

从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集(validation set)。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。

K折交叉验证

由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证(K-fold cross-validation)。在K折交叉验证中，我们把原始训练数据集分割成K个