Overfitting--过拟合

• 什么是underfitting?
  一般是模型太简单了，训练和测试的错误都非常的大。

• 什么是overfitting?
  一般由于模型太过复杂，或者太特殊，训练时错误很低，但是测试时错误很多。

• 造成overfitting的原因？
  1 .训练集太小了，太局限
  2 .模型过于复杂

模型的选择

• 在建立模型时执行。
  将训练数据分成两个部分
  • training set ： 用于训练模型
  • validation set： 估计泛化错误，不等同于测试集

缺点：不能保证有足够的数据用于训练模型。

• 目的是确保模型不会过于复杂(避免过拟合)

  • 鉴于两种概化误差相似的模型，人们应该选择较简单的模型而不是较复杂的模型

• 需要估计泛化误差

  • 使用验证集
  • 估计范围
  • 降低复杂度