偏差与方差

引言

偏差 Bias
方差 Variance
写这篇文章的原因是集成学习中提到了Boosting主要是减少Bias，Bagging 主要是减小Variance。
Bias和Variance是针对Generalization(泛化、⼀一般化)来说的。在机器学习中，我们用训练数据集学习一个模型，我们通常会定义一个损失函数(Loss Function),通过最小化这个损失函数，提高模型性能。但单纯得将训练数据集的Loss最小化，并不能保证解决更一般的问题时模型仍然最优，即泛化能力不强，很可能过拟合。
这个训练数据集的Loss与一般化的数据集(预测数据集)的Loss 之间的差异就叫做Generalization error(泛化误差)。

Generalization error= Random Error+ Bias +Variance

数学解释

学习算法的期望预测为：
指的是多次输出的均值

方差：
描述的是基于不同训练数据产生的输出(在测试集上)与其期望(平均)预测输出之间的误差

偏差：
描述的是 模型在测试集上的预测输出数据与真实测试数据之间的误差

噪声：
描述的是 每次训练的预测数据与真实值之间的误差其平均值

对期望泛化误差进行分解:(也即最上面提到的有3部分组成的证明)

所以有：

即泛化误差可分解为 偏差、方差和噪声(随机误差)之和。

图示描述

• 左上角是理想情况：偏差和方差都特别小，预测结果均集中在靶心位置，理想情况，除非有无穷的训练集 否则不能达到
• 右上角表示偏差小方差大。可以看到整体数据较离散，但是偏差小，离中心点近。

理解 『模型越复杂，偏差越小，方差越大』

Bias

假设下图的红线是我们给出的模型，蓝色的点是真实样本。则偏差Bias 是图中标示的垂直距离。
距离越大说明Bias越大，即拟合度越低。

增加模型复杂度，例如将以上的线性模型增加为一个四次方的模型。如下：

可以看到 蓝色的点与红线的垂直距离变短，即距离-Bias 减小。可以理解为，增加模型复杂度，则拟合曲线可以更贴近数值分布，拟合度更好，则Bias必然减小。 但这样会有过拟合的风险(如果训练得太久，除了了学习到关于真实模型的信息，还学到了了许多具体的。)，即完美拟合训练数据，泛化能力弱。

Variance

Variance(方差)反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性（我们希望的是方差越小越好，即希望每一预测出的值和平均输出值间差别不大，即每一次模型差别不大）
下图中红线是每一组训练样本对应的模型，假设真实书记有无限多，我们以10个样本为一组，选取了500个样本组，在线性模型下，针对这500个样本组，我们会有500组不同的b和w组成的线性模型。构成如下左图的样子。

当模型升级为5次方的复杂程度时，针对这500个样本组，则会有右图。明显右边更离散点。
因为模型学习得越来越好。即针对每组训练数据，其拟合得越来越好，那么，由于每组训练数据本身是有差异的（不同的可能的训练数据集(真实数据的⼦子集)之间的某些特征和 噪声是不不⼀一致的），即**拟合得越好，各模型间的差异性就越明显，**那么对于期望输出，其稳定性就越差，也即泛化能力相对弱，方差变大。
试想一个极端情况，当模型就是一个常数，这是模型的复杂度最低，同时variance为0.
所以： 当模型复杂度低是，Variance更低，复杂度高，Variance更高。

总结

• 偏差：度量了学习算法的期望预测值与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。

• 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

• 噪声: 表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

• 给定的学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。

如何Tradeoff(权衡)

最佳平衡点

考虑到模型误差是偏差与⽅方差的加和，因此我们可以绘制出这样的图像。

图中的最优位置，实际上是Total Error曲线的拐点。我们知道，连续函数的拐点意味着此处⼀一阶 导数的值为0。即

这个公式给出了了寻找最优平衡点的数学描述。若模型复杂度⼩小于平衡点，则模型的偏差会偏⾼高，
模型倾向于⽋欠拟合;若模型复杂度⼤大于平衡点，则模型的⽅方差会偏⾼高，模型倾向于过拟合。

参考

1.《机器学习》周志华
2. http://baijiahao.baidu.com/s?id=1601092478839269810&wfr=spider&for=pc
理解Bias（偏差），Error（误差），和Variance（方差）的区别和联系？