一、过拟合与欠拟合

如上图所示,模型容量就是模型复杂度,低容量模型难以拟合所有的数据(欠拟合),高容量的模型可以记住所有的训练数据(过拟合)。
二、过拟合和欠拟合(举例)

上图左侧就是欠拟合,右侧就是过拟合。一个由于模型太过于简单难以拟合所有数据,一个模型记住了所有的训练数据,但泛化误差却很大(因为我们需要的模型并不是记住所有的训练数据,而是可以帮我们进行预测未知features的label)。
三、泛化误差
模型对未知数据预测的误差即为泛化误差,泛化误差才是一个模型所追求的。
甚至于,为了追求低的泛化误差,甚至可以使得模型过拟合!!!
