谈谈 Bias-Variance Tradeoff

摘自 始终 谈谈 Bias-Variance Tradeoff

    <span itemprop="articleBody"><blockquote>

准确是两个概念。准是 bias 小，确是 variance 小。准确是相对概念，因为 bias-variance tradeoff。
——Liam Huang

在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。由于随机误差是不可消除的，所以此篇我们讨论在偏差和方差之间的权衡（Bias-Variance Tradeoff）。

定义

数学上定义

首先需要说明的是随机误差。随机误差是数据本身的噪音带来的，这种误差是不可避免的。一般认为随机误差服从高斯分布，记作 ϵ∼(0,σϵ)ϵ∼N(0,σϵ) 给出了寻找最优平衡点的数学描述。若模型复杂度大于平衡点，则模型的方差会偏高，模型倾向于过拟合；若模型复杂度小于平衡点，则模型的偏差会偏高，模型倾向于过拟合。

过拟合与欠拟合的外在表现

尽管有了上述数学表述，但是在现实环境中，有时候我们很难计算模型的偏差与方差。因此，我们需要通过外在表现，判断模型的拟合状态：是欠拟合还是过拟合。

同样地，在有限的训练数据集中，不断增加模型的复杂度，意味着模型会尽可能多地降低在训练集上的误差。因此，在训练集上，不断增加模型的复杂度，训练集上的误差会一直下降。

因此，我们可以绘制出这样的图像。

http://www.learnopencv.com/bias-variance-tradeoff-in-machine-learning/

因此，

• 当模型处于欠拟合状态时，训练集和验证集上的误差都很高；
• 当模型处于过拟合状态时，训练集上的误差低，而验证集上的误差会非常高。

处理欠拟合与过拟合

有了这些分析，我们就能比较容易地判断模型所处的拟合状态。接下来，我们就可以参考 Andrew Ng 博士提供的处理模型欠拟合/过拟合的一般方法了。

欠拟合

当模型处于欠拟合状态时，根本的办法是增加模型复杂度。我们一般有以下一些办法：

• 增加模型的迭代次数；
• 更换描述能力更强的模型；
• 生成更多特征供训练使用；
• 降低正则化水平。

过拟合

当模型处于过拟合状态时，根本的办法是降低模型复杂度。我们则有以下一些武器：

• 扩增训练集；
• 减少训练使用的特征的数量；
• 提高正则化水平。

      <!-- NEED-MORE-SHARE2 Button BEGIN -->

</div>