【九】经验风险最小化

差异与波动平衡 Bias/Variance Tradeoff

我们在之前的课程中已讲到，选择不合适的模型进行拟合会导致欠拟合（Underfitting）和过拟合问题（Overfitting），在这一讲中，我们将针对这一问题，给出更深度的讨论。直观而言，欠拟合来自于“简单”的模型，而过拟合来自于“复杂”的模型，如下图所示

正如我们之前讨论的那样，如右图那样对训练集精确拟合的高阶函数，在对测试集进行处理时依然存在较大的误差，这一误差称为泛化误差Generalization Error，对应的，与训练集产生的误差称为Training Error。上图中左右两幅图都有巨大的泛化误差，但很明显它们具有不同的产生原因。

如左图所示，我们称差异BIas为尽管拟合了更大规模训练集也会产生的泛化误差的期望，这是欠拟合的表现。泛化误差的另一部分来自于波动Variance，如右图所示，即由于过于追求细节而没有反映出更广泛的模式。

一般而言，这两种误差都是不可避免的，如果我们选择了过少的参数来表达模型，我们的模型会比较“简单”，这样会产生差异Bias；如果我们选择了过多的参数，我们的模型会比较“复杂”，这样会产生波动Variance。在上图中，二次函数较好的表现了训练集的模式，我们可以认为其达到了一个较好的平衡，当应注意，其依然存在差异和波动。

联合界定理 The Union Bound

联合界定理可表述如下，在概率论中一般被认为是一个公理，可简单称为事件和的概率小于等于事件概率的和。