偏差和方差判断

下图为吴恩达老师的视频课中截图，两条线分别为训练误差和验证误差随着d（特征复杂度，模型复杂度）的变化。
训练误差随着模型的复杂化会拟合的越来越好，误差会逐渐趋于0
验证误差开始的变化和训练时比较相近，但一般会误差略高于训练，单当模型复杂度到达阈值时，模型再次增加复杂度就会大致泛化能力变弱，对于样本外的验证集来说，误差就会不断升高。

高偏差（欠拟合）：
从图中可见，当模型复杂度较低时，训练误差和验证误差都比较高，且两者比较接近，这时就是模型欠拟合
高方差（过拟合）：
从图中可见，当模型过于复杂时，训练误差很小，验证误差很大。也可以说训练误差在下降，而验证误差开始上升，这时就要考虑是否出现了过拟合。