周志华 机器学习 Day22

VC维

现实学习任务所面对的通常是无限假设空间，例如实数域中的所有区间、Rd空间中的所有线性超平面。欲对此种情形的可学习性进行研究，需度量假设空间的复杂度。最常见的方法是考虑假设空间的“VC维”。

VC维的正式定义如下：

表明存在大小为d的示例集能被假设空间H打散（假设空间H能实现示例集D上的所有对分（H中的假设对D中示例赋予标记的每种可能结果称为对D的一种“对分”），则称为示例集D能被假设空间H“打散”）。

Rademacher复杂度

上节提到，基于VC维的泛化误差界是分布无关、数据独立的，也就是说，对任何数据分布都成立。这使得基于VC维的可学习型分析结果具有一定的“普适性”；但从另一方面说，由于没有考虑数据自身，基于VC维得到的泛化误差界通常比较“松”，对那些与学习问题的典型情况相差甚远的较“坏”分布来说尤其如此。

Rademacher复杂度是另一种刻画假设空间复杂度的途径，与VC维不同的是，它在一定程度上考虑了数据分布。

稳定性

顾名思义，算法的“稳定性”考察的是算法在输入发生变化时，输出是否会随之发生较大的变化。