机器学习 | 评估原理——学习曲线（区分过拟合与欠拟合）

半亩花海

已于 2024-08-13 10:37:07 修改

阅读量1.3k

点赞数 49

分类专栏：机器学习学习笔记文章标签：评估学习曲线过拟合欠拟合算法机器学习

于 2024-07-31 10:24:52 首次发布

本文链接：https://blog.csdn.net/ttrr27/article/details/140749825

版权

学习笔记同时被 2 个专栏收录

35 篇文章 2 订阅

订阅专栏

机器学习

20 篇文章 0 订阅

订阅专栏

Hi，大家好，我是半亩花海。接着上次的分类中的正则化继续更新《白话机器学习的数学》这本书的学习笔记，在此分享学习曲线（区分过拟合与欠拟合）相关评估原理。本章的基于前几节已建立的模型进行评估知识的学习，欢迎大家交流学习！

一、欠拟合

前面我们聊了很多过拟合的话题，如在文章《机器学习 | 评估原理——回归中的正则化（含过拟合、惩罚）-CSDN博客》中。而反过来又有一种叫作欠拟合（underfitting）的状态（没有拟合训练数据的状态）。在这种情况下模型的性能也会变差。

从相对的角度，过拟合和欠拟合是相反的状态，一个是过度训练，一个是过度不训练（ps：当然也不是完全相对、非此即彼的状态）。而我们追求的是恰好训练，这个度很难把握，需要我们不断实验去调整参数，达成最优效果。

比如，我们用直线对图中这种拥有复杂边界线的数据进行分类的情况，无论怎样做都不能很好地分类，最终的精度会很差，如下图所示。

出现这种情况的主要原因就是模型相对于要解决的问题来说太过简单了，原因也和过拟合的情况相反。过拟合与欠拟合基本上是相反关系，原因不同，解决方案也不同。

解决欠拟合的方法有很多，比如：

增加数据量
增加训练次数
增加模型复杂度

二、区分过拟合与欠拟合

1. 概念

过拟合（学成书呆子了）：指模型在训练集上表现优秀，在测试集上表现很差。
欠拟合（还没学明白）：指模型难以学习已有的规律，在训练集和测试集上表现得都很差；或是模型过早的停止训练（早停）。

2. 如何区分二者

其实实际上，过拟合和欠拟合是一个较为主观的评价，没有一个指标能拍板说它就是过拟合了、或就是欠拟合了。而且，过拟合与欠拟合实际上并不是相对的概念，即并未非此即彼，往往：

模型效果太差：欠拟合
模型在训练集上还可以，但测试集上太差：过拟合
模型训练集和测试集都还行：不存在过拟合与欠拟合

3. 案例分析一

我在之前的博客《语义分割 | 基于 VGG16 预训练网络和 Segnet 架构实现迁移学习_vgg16 标注json-CSDN博客》里面有如下这种学习曲线图，可以清晰地看出，该语义分割模型在训练集上（绿色和黄色）表现良好，但是在验证集（蓝色和红色）上表现一般，其中，验证集损失率（val_loss，红色曲线）出现多次升高又降低的现象，表现得十分不稳定，即存在一定的过拟合状态，因此，还需要对模型进行不断的改进。

后续更新使用高性能服务器上的 GPU 以及增加训练轮次、调整数据和模型参数等方法，一定程度上提高了模型效果。

4. 案例分析二

但我们只对模型进行评估，并根据模型精度也并不能完全判断模型是过拟合还是欠拟合。

我们以数据的数量为横轴、以精度为纵轴，然后把用于训练的数据和用于测试的数据画成图来看一看就知道了。我们具体来看一个例子。考虑一下使用下面这样的 10 个训练数据进行回归的场景。

这些数据似乎用二次函数来拟合比较合适。不过这里我们先假设 $f_\theta (x)$ 是一次函数。接着，只随便选择其中的 2 个数据用作训练数据。那 $f_\theta (x)$ 如下面左侧图所示。在这个状态下，2 个点都完美拟合，误差为 0。那把 10 个数据都用来训练会怎样？则 $f_\theta (x)$ 如右侧图所示。不过在这种情况下，误差已经无法为 0 了。这里我想说的就是如果模型过于简单，则随着数据量的增加，误差也会一点点变大（精度会一点点下降）。