过拟合和欠拟合

我们更多的关注泛化误差。

第一个模型过于简单，第二个过于拟合。

训练误差会随着模型容量增加，训练误差开始下降；泛化误差会下降，降低到某一个点的时候，开始上升。

模型足够复杂，通过各种手段控制模型容量，使得最后泛化误差往下降。

通过控制这两个属性来控制模型的复杂度。