集成学习(上) - Talk 3

测试误差及其优化

一般而言，我们并不关心模型在训练集上的训练均方误差，我们关心的是模型面对未知的样本集，即测试集上的测试误差，我们的目标是使得我们建立的模型在测试集上的测试误差最小。那我们如何选择一个测试误差最小的模型呢？这是个棘手的问题，因为在模型建立阶段，我们是不能得到测试数据的。模型在训练误差很小，但是测试均方误差很大时，我们称这种情况叫模型的过拟合。

实际上我们很难对实际的测试误差做精确的计算，因此我们要对测试误差进行估计，估计的方式有两种：训练误差修正与交叉验证。

训练误差修正

前面的讨论我们已经知道，模型越复杂，训练误差越小，测试误差先减后增。因此，我们先构造一个特征较多的模型使其过拟合，此时训练误差很小而测试误差很大，那这时我们加入关于特征个数的惩罚。因此，当我们的训练误差随着特征个数的增加而减少时，惩罚项因为特征数量的增加而增大，抑制了训练误差随着特征个数的增加而无休止地减小。具体的数学量如下：
$C_p=\frac{1}{N}(RSS+2d{\hat{\sigma }}^2)$
$RSS=\sum _{i=1}^N(y_i-\hat{f}(x_i){)}^2$
d为模型特征个数，${\hat{\sigma }}^2$为模型预测误差的方差的估计值，即残差的方差。

• AIC赤池信息量准则：
  $AIC=\frac{1}{d{\hat{\sigma }}^2}(RSS+2d{\hat{\sigma }}^2)$
  适用于许多使用极大似然估计进行拟合的模型，若线性回归模型的误差服从高斯分布，极大似然估计和最小二乘估计是等价的。

• BIC贝叶斯信息量准则：$BIC=\frac{1}{n}(RSS+log(n)d{\hat{\sigma }}^2)$

交叉验证

前面讨论的对训练误差修正得到测试误差的估计是间接方法，这种方法的桥梁是训练误差，即通过训练误差和测试误差的关系和特点估计测试误差。而交叉验证则是对测试误差的直接估计。

最常用的是K折交叉验证。我们把训练样本分成K等分，然后用K-1个样本集当做训练