[机器学习笔记] 机器学习中的“过拟合（Overfitting）”和“欠拟合（Underfitting）”

最新推荐文章于 2024-08-16 14:16:25 发布

梅森上校

最新推荐文章于 2024-08-16 14:16:25 发布

阅读量4k

点赞数

分类专栏：机器学习（ML）

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/seagal890/article/details/105084189

版权

本文详细介绍了机器学习中的过拟合和欠拟合现象，包括它们的定义、产生原因和解决方案。过拟合是模型过度适应训练数据，导致测试集上表现不佳，可通过正则化、更多数据等方法解决；欠拟合则是模型未能充分学习训练数据，可通过增加特征或使用更复杂模型改善。

摘要由CSDN通过智能技术生成

机器学习中的“过拟合（Overfitting）”和“欠拟合（Underfitting）”

在机器学习领域中，当讨论一个机器学习模型学习和泛化的好坏时，通常使用术语是：过拟合（Overfitting）和欠拟合（Underfitting）。过拟合和欠拟合是机器学习算法表现差的两大原因。

什么是过拟合和欠拟合？

过拟合（overfitting）：是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样也考虑在内，将抽样误差也进行了很好的拟合。具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。

拟合的模型一般是用来预测未知的结果（不在训练集内），过拟合虽然在训练集上效果好，但是在实际使用时（测试集）效果差。同时，在很多问题上，我们无法穷尽所有状态，不可能将所有情况都包含在训练集上。所以，必须要解决过拟合问题。

欠拟合（Underfitting）：是指模型不能在训练集上获得足够低的误差。

简单来说，当学习器把训练样本学得“太好了”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在的样本都会具有的性质，这样就导致泛化性能下降，这就是“过拟合（Overfitting）”；与之相对的是“欠拟合（Underfitting）”，这是指对训练样本的一般性质尚未学好。《机器学习》（周志华，清华大学出版社，P23.）

在神经网络训练的过程中，欠拟合主要表现为输出结果的高偏差，而过拟合主要表现为输出结果的高方差。