结构风险最小化

传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限是是不合理的，因为我们需要同时最小化经验风险和置信范围。事实上，在传统的方法中，我们选择学习模型和算法的过程，就是优化置信范围的过程，如果选择的模型比较适合现有的训练样本（h/n值适当），则可以取得比较好的效果。比如在神经网络中，需要根据问题和样本的具体情况来选择不同的网络结构（对应于不同的VC维），然后进行经验风险最小化。在模式识别问题中，选定了一种分类器形式，就确定了学习机器的VC维。实际上，这种做法就是首先通过选择模型来确定置信范围，然后固定置信范围，通过经验风险最小化来求最小风险。因为缺乏对置信范围的认识，这种选择往往是依赖先验知识和经验进行的，造成了神经网络等方法对使用者“技巧”的过分依赖。对于模式识别问题，虽然很多问题并不是线性的，但当样本数有限时，我们用线性分类器往往得不到好的结果，其原因就是线性分类器的VC维比较低，有利于在样本比较少的情况下得到小的置信范围。

结合统计学习理论中关于推广性界的知识，我们可以采用另一种策略来解决上述问题：首先把函数集分解为一个函数子集序列，使得各个子集能够按照置信范围的大小进行排列，也就是按照VC维的大小排列，这样，在同一个子集中的置信范围就相同。在同一个子集中寻找最小经验风险，通常它随着子集复杂度的增加而减小。选择最小经验风险与置信范围之和最小的函数，就是要求的最优函数。这种思想被称为有序风险最小化或者结构风险最小化（Structure Risk Minimization,SRM）。如下图所示：

 

在结构风险最小化原则下，一个分类器的设计过程包含以下两方面的任务：

（1）选择一个适当的函数子集，使它对问题来说具有最优的分类能力；

（2）从这个函数子集中选择一个判别函数，使得经验风险最小；

支持向量机是一个比较好的实现了有序风险最小化思想的方法。