《机器学习by周志华》学习笔记-模型评估与选择-04

1、偏差与方差

1.1、概念

「偏差-方差分解（bias-variance decomposition）」是解释学习器泛化性能的一种重要工具。

「偏差」学习器期望预测与真实结果的偏离程度。

「方差」同样大小训练集的变动会导致学习器性能变化的度量。

「噪声」表达了在当前任务下，学习器所能达到的期望泛化误差的下界。

1.2、作用

「偏差-方差分解图」：可以对学习器的预期错误率进行拆解，以便我们更好的理解「为什么具有这样的性能？」的问题。

「偏差」：可以衡量学习器的拟合能力。拟合能力越强，偏差越小；拟合能力越弱，偏差越大。

「方差」：可以衡量数据扰动造成的影响。数据影响越大，方差越大；数据影响越小，方差越小。

「噪声」：可以衡量学习器所学问题的难度。难度越大，噪声越大；难度越小，噪声越小。给定学习器，为了能够取得更好的泛化性能，则需要使「偏差」较小，即充分拟合数据；并且使「方差」较小，即使数据影响小。

1.3、推导内容

从上文我们可以知道，算法在不同的训练集上学习的结果很可能是不同的，即便同一个分布，也可能出现不同的输出结果。

3学习器x，对于测试样本D，y为x的真实标记。f(x,D)为x在测试样本D上的预测输出。学习器的期望预测为：