偏差与方差

重点理解期望。。

————————————————————————————————————————————————————————

结论：泛化误差可分解为偏差、方差与噪声之和

---

即泛化误差可分解为偏差、方差与噪声之和

---

红色部分为0的理解

重点理解

期望

。。。。。。。。是试验中每次可能结果的概率乘以其结果的总和

---

每个样本的几个D的蓝色部分和为0
这里的期望预测输出f(x)理解为mean，平均值
eg.

样本i在5个不同D中预测结果：1 1 1 1 0

f_(i)=0.8

E=0.2*80%+(-0.8)*20%=0

---

假定噪声期望为0，也即

不是×××

——————————————————————————————————————————————————————
偏差度量了学习算法期望预测与真实结果的偏离程度；即刻画了学习算法本身的拟合能力；
方差度量了同样大小训练集的变动所导致的学习性能的变化；即刻画了数据扰动所造成的影响；
噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；即刻画了学习问题本身的难度。

泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务为了取得好的泛化性能，需要使偏差小(充分拟合数据)而且方差较小(减少数据扰动产生的影响)，噪声不可控。

——————————————————————————————————————————————————————

偏差-方差窘境

一般来说，偏差与方差是有冲突的，称为偏差-方差窘境。
如下图所示，假如我们能控制算法的训练程度：

在训练不足时，学习器拟合能力不强，训练数据的扰动不足以使学习器的拟合能力产生显著变化，此时偏差主导泛化错误率；
随着训练程度加深，学习器拟合能力逐渐增强，方差逐渐主导泛化错误率；
训练充足后，学习器的拟合能力非常强，训练数据的轻微扰动都会导致学习器的显著变化，若训练数据自身非全局特性被学到则会发生过拟合。