偏差和方差

偏差：期望预测与真实结果的偏离程度，刻画学习算法本身的拟合能力

方差：不同训练数据对学习性能的影像，刻画数据扰动造成的影响

 

偏差方差窘境：

越复杂的模型偏差越小，而方差越大。

我们用一个参数少的，简单的模型进行预测，会得到低方差，高偏差，通常会出现欠拟合。

而我们用一个参数多的，复杂的模型进行预测，会得到高方差，低偏差，通常出现过拟合。

 

红色：偏差

蓝色：方差

黑色：泛化误差/模型误差

 

欠拟合解决方法：

增加模型的复杂度

增加特征的个数

添加多项式特征

减少正则化

 

过拟合的解决方法：

减少模型复杂度，减少参数量

深度学习可以使用BN层

增大数据量

增加正则项

提前停止模型的训练 early stop

使用dropout