经验风险最小化与结构风险最小化笔记

置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。

VC置信范围(VC confidence)：学习机器的VC维及训练样本数有关。 VC维反映了函数集的学习能力，VC维越大则学习机器越复杂(容量越大)

泛化误差界的公式为：

$R(w)\le Remp(w)+\phi(h/n)$
公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。

结构风险最小化(SRM)的基本思想

所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。

传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的,因此，需要同时最小化经验风险和置信范围。

机器学习过程不但要使经验风险最小，还要使VC维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。

统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。

在有限训练样本下，学习机器的VC维越高则置信范围越大,真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学习现象的原因。

结合统计学习理论中关于推广性界的知识，我们可以采用另一种策略来解决上述问题：首先把函数集分解为一个函数子集序列，使得各个子集能够按照置信范围的大小进行排列，也就是按照VC维的大小排列，这样，在同一个子集中的置信范围就相同。在同一个子集中寻找最小经验风险，通常它随着子集复杂度的增加而减小。选择最小经验风险与置信范围之和最小的函数，就是要求的最优函数。这种思想被称为有序风险最小化或者结构风险最小化（Structure Risk Minimization,SRM）。

在结构风险最小化原则下，一个分类器的设计过程包含以下两方面的任务：

（1）选择一个适当的函数子集，使它对问题来说具有最优的分类能力；

（2）从这个函数子集中选择一个判别函数，使得经验风险最小；

支持向量机是一个比较好的实现了有序风险最小化思想的方法。