【深度学习】过拟合 (overfitting)

Introduction

过拟合，overfitting，指的是 模型 对训练数据的 抽样误差 也进行了 很好的拟合 ，是一种 无监督下 的 矫枉过正 。

好比自动吸尘机器人帮你把家里的灰尘清干净了，然后顺道把你丢地上的臭袜子也一块吸了进去。。。

在机器学习和深度学习中，过拟合 是 泛化能力 的天敌。

症状

训练集上表现好，验证集上表现差：

上图中，验证误差 开始回升 的时间点，就是 过拟合的 开始。

对应的，我们一般取 验证误差曲线 低谷 的 时间点 对应的模型 作为 最优模型 。

解决方法

• 网络：
  • 模型层面：
    • 选小模型以降低复杂度
    • 模型集成（dropout）
  • 学习策略：
    • 正则化
    • 早停
• 数据：
  • 划出独立的验证集和测试集。
  • 增加数据多样性：
    • 加样本量
    • 数据增强
    • shuffle数据