25、机器学习中的偏差 - 方差 - 协方差分解及生物学习规则

机器学习中的偏差 - 方差 - 协方差分解及生物学习规则

1. 偏差 - 方差 - 协方差分解与集成学习

1.1 概率集合（PC）与堆叠方法

在机器学习中，为了提高模型性能，常采用一些集成学习的策略。概率集合（PC）方法是在重采样得到的每个数据集上运行学习算法，然后对结果进行平均。例如，在通过 KL 散度最小化获取每个数据集的结果时，我们对这些结果进行平均。PC 方法甚至适用于随机目标函数，在有噪声的 Rosenbrock 问题中，通过重采样十次并结合装袋法（bagging）实现 PC，能显著提升性能。

堆叠法（Stacking）与装袋法不同，装袋法是在重采样生成的不同数据集上组合同一学习算法的估计结果，而堆叠法是在同一数据集上组合不同学习算法的估计结果。通常，这些组合估计比单个估计更好。例如，通过 KL 散度最小化算法使用多个模型得到的结果进行组合，交叉验证用于模型选择的效果优于单个模型，而堆叠法又略优于交叉验证。

1.2 偏差 - 方差 - 协方差分解理论

偏差 - 方差 - 协方差分解是集成学习算法的理论基础，它是偏差 - 方差分解在线性组合模型上的扩展。集成 $Nf(x)$ 相对于目标 $d$ 的期望平方误差为：
$E{[Nf(x) - d]^2} = bias^2 + \frac{1}{T}var + (1 - \frac{1}{T})covar$

该误差由模型的平均偏差、涉及平均方差的项以及涉及平均成对协方差的项组成。这表明单个模型存在双向的偏差 - 方差权衡，而集成模型则由三向权衡控制，这种权衡常被称为集成的准确性 - 多样性困境。

1.3 偏差 - 方差权衡的应用