偏差与方差

偏差与方差

http://blog.csdn.net/zhihua_oba/article/details/78684257

方差公式为：

$S_{N}^{2}=\frac{1}{N}\sum_{i=1}^{N}(x_{i}-\bar{x})^{2}$

泛化误差可分解为偏差、方差与噪声之和，即 generalization error=bias+variance+noise。

噪声：描述了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。 假定期望噪声为零，则泛化误差可分解为偏差、方差之和，即 generalization error=bias+variance。

偏差（bias）：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。

方差（variance）：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，模型的稳定程度越差。如果模型在训练集上拟合效果比较优秀，但是在测试集上拟合效果比较差劣，则方差较大，说明模型的稳定程度较差，出现这种现象可能是由于模型对训练集过拟合造成的。 如下图右列所示。

 

简单的总结一下： 偏差大，会造成模型欠拟合； 方差大，会造成模型过拟合。