复习：支持向量机的理论基础－统计学习理论

        为了使用经验风险最小化原则（ERM原则）来进行学习，第一步我们要证明什么情况下使用ERM原则得到的函数有推广能力，这导致统计学习理论的第一个问题：

       （1）学习过程一致性的理论，即ERM原则学习过程一致性的条件；

        当证明了使用ERM原则学习得到的函数可以推广后，我们要做的是推导这个函数的推广能力，也就是学习的收敛速度（这里的速度不是指的计算时的速度）这导致学习理论的第二个问题：

       （2）学习过程收敛速度的非渐进性理论；

         理论（1）和（2）对于实际风险和经验风险以及VC维有如下的结论：

                                                                  +

其中，为实际风险，为经验风险，L为数据集个数，h为VC维。 根据这个公式，要使得界变小，也就是获得高的推广能力，就得使右边的两项同时变小，所以我们要做的就是如何使VC维成为可控变量，这导致学习理论的第三个问题：

       （3）控制学习过程推广能力的理论；

        当上面三个问题都解决之后，最后我们要做的就是构造某个算法，使用上面的学习理论完成学习过程，这导致学习理论的最后一个问题；
        （4）构造学习算法的理论。

        为了计算上的方便，我们使用VC维来描述理论（1）和理论（2）为下：VC维有限就能够保证ERM原则的一致性，并且保证有快的收敛速度。 也就是说如果一个函数集的VC维有限，那么使用ERM原则来进行学习理论情况下经验风险能够等于真实的风险，得到的决策函数有最大的推广能力。在真实应用中我们不可能在理论情况下进行学习，需要对学习过程进行进行控制以得到足够好的推广能力（理论（3）），我们使用结构风险最小化原则(SRM)来学习，在这个原则中，可以通过对函数集划分成某个结构，从而控制了函数集的VC维，然后通过选择某个子集在其中进行训练使得经验风险和置信范围同时最小化，从而获得高的推广性。关于理论（4），也就是学习算法的构造，其实就是构造某个算法如何实现SRM原则，这方面的内容将在后篇文章中介绍。

转载于:https://www.cnblogs.com/xuliu/archive/2010/04/12/1710182.html