机器学习-偏差与方差

1.偏差与方差

Bias和Variance是针对Generalization来说的。

在机器学习中，我们用训练数据集去训练一个模型，一般是定义一个误差函数，通过将这个Loss的最小化过程，来提高模型的性能。

单纯地将训练数据集的loss最小化，并不能保证在解决更一般的问题时模型仍然是最优这个训练数据集的loss与一般化的数据集的loss之间的差异就叫做generalization error。而generalization error又可以细分为Bias和Variance两个部分。

而bias和variance分别从两个方面来描述了我们学习到的模型与真实模型之间的差距。

Bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异；

Variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。

1.1 方差

方差代表的是用一个不同的训练数据集估计f(x)时，估计函数f(x)_hat的改变量。
光滑度越高的模型有更高的方差；如下图所示，右图中改变其中任何一个数据点将会使得f(x)_hat有相当大的改变。

1.2 偏差

偏差代表的是为了选择一个简单的模型逼近真实函数而被带入的误差，其构成可能非常复杂。

一般来说，光滑度越高的模型所产生的偏差越小。

2. 偏差-方差权衡

模型光滑度越高（复杂度越高）所得模型方差增加，偏差减小，则这两个量比值的相对变化率会导致测试均方误差整体的增加或减小。总的测试均方误差会有一个先下降后上升的趋势，如果一个统计学习模型被称为测试性能好，那么要求该模型有较小的方差和较小的偏差，这就涉及到权衡的问题。

3. 特征提取

在前面能得出个结论，我们要选择一个测试误差达到最小的模型。但是实际上我们很难对实际的测试误差做精确的计算，因此我们要对测试误差进行估计，估计的方式有两种：训练误差修正与交叉验证。

3.1训练误差修正

模型越复杂，训练误差越小，测试误差先减后增。

构造一个特征较多的模型使其过拟合，此时训练误差很小而测试误差很大，那这时加入关于特征个数的惩罚。

训练误差随着特征个数的增加而减少时，惩罚项因为特征数量的增加而增大，抑制了训练误差随着特征个数的增加而无休止地减小。

$C_p=\frac{1}{N}(RSS+2d{\hat{\sigma }}^2)$， 其中d为模型特征个数，
$RSS=\sum _{i=1}^N(y_i-\hat{f}(x_i){)}^2$，${\hat{\sigma }}^2$为模型预测误差的方差的估计值，即残差的方差。
AIC赤池信息量准则：$AIC=\frac{1}{d{\hat{\sigma }}^2}(RSS+2d{\hat{\sigma }}^2)$
BIC贝叶斯信息量准则：$BIC=\frac{1}{n}(RSS+log(n)d{\hat{\sigma }}^2)$

3.2 交叉验证

交叉验证法可以用来估计一种指定的统计学习方法的测试误差，从而来评价这种方法的表现（模型评价），目前已成为业界评估模型性能的标准；或者为这种方法选择合适的光滑度（模型选择）。

K折交叉验证法(k-fold CV)是将观测集随机地分为k个大小基本一致的组，或者说折(fold)，第一折作为验证集，然后在剩下的k-1个折上拟合模型，均方误差MSE1（响应变量Y为定性变量时则为错误率）由保留折的观测计算得出。重复这个步骤k次，每一次把不同折作为验证集，整个过程会得到k个测试误差的估计MSE1，MSE2，…, MSEk。K折CV估计由这些值求平均计算得到。

在测试误差能够被合理的估计出来以后，我们做特征选择的目标就是：从p个特征中选择m个特征，使得对应的模型的测试误差的估计最小。对应的方法有：

• 最优子集选择：

1. 记不含任何特征的模型为$M_0$，计算这个$M_0$的测试误差。

2. 在$M_0$基础上增加一个变量，计算p个模型的RSS，选择RSS最小的模型记作$M_1$，并计算该模型$M_1$的测试误差。

3. 再增加变量，计算p-1个模型的RSS，并选择RSS最小的模型记作$M_2$，并计算该模型$M_2$的测试误差。

4. 重复以上过程知道拟合的模型有p个特征为止，并选择p+1个模型 { M 0 , M 1 , . . . , M p } \{M_0,M_1,...,M_p \} { M0​,M1​,...,Mp​}中测试误差最小的模型作为最优模型。

• 向前逐步选择：
  最优子集选择虽然在原理上很直观，但是随着数据特征维度p的增加，子集的数量为$2^p$，计算效率非常低下且需要的计算内存也很高因此，我们需要把最优子集选择的运算效率提高，因此向前逐步选择算法的过程如下：

1. 记不含任何特征的模型为$M_0$，计算这个$M_0$的测试误差。
2. 在$M_0$基础上增加一个变量，计算p个模型的RSS，选择RSS最小的模型记作$M_1$，并计算该模型$M_1$的测试误差。
3. 在最小的RSS模型下继续增加一个变量，选择RSS最小的模型记作$M_2$，并计算该模型$M_2$的测试误差。
4. 以此类推，重复以上过程知道拟合的模型有p个特征为止，并选择p+1个模型 { M 0 , M 1 , . . . , M p