偏差与方差理论

偏差与方差理论

偏差方差分解" (bias-variance decomposition)是解释学习算法泛化性能的一种重要工具.

偏差方差分解试图对学习算法的期望泛化错误率进行拆解.我们知道，算法在不同训练集上学得的结果很可能不同，即便这些训练集是来自同一个分布的。

泛化误差一般可以理解为：偏差、方差和噪声之和

• 偏差： 度量学习算法的期望预测与真实结果的偏离成果，刻画着学习算法本身的拟合程度。
• 方差：方差是度量同样大小的训练集变动所导致的学习性能的变化，也就是刻画数据扰动所造成的影响
• 噪声：表达着当前任何学习算法所能达到的算法下界，也就是学习能的困难程度
  而 泛化能力也就是由上面决定的：
  

实际中，我们需要找到偏差和方差都较小的点

对于公式的推导可以参考：
知乎大佬1
知乎大佬2

一个对公式推导比较强
一个实现了算法，由于最近时间太近，写的不够严谨，后期还需修改，请读者谅解。