支持向量机(SVM):一种专门研究有限样本预测的学习方法。是在统计学习理论基础之上发展而来的。没有以传统的经验风险最小化原则作为基础,而是建立在结构风险最小化原理的基础之上,发展成为一种新型的结构化学习方法。
结构风险最小归纳原理:解决了有限样本或小样本的情况下获得具有优异泛化能力的学习机器。包含了学习的一致性、边界理论和结构风险最小化原理等部分。克服了经验风险最小化的缺点。
一:学习过程的一致性
指当训练样本数目趋于无穷大时,经验风险的最优值能够收敛到真实风险的最优值,只有满足学习过程的一致性条件,才能保证在学习样本无穷大时,经验风险最小化原则下得到的最优学习机器的性能趋近于期望风险最小化的最优结果。只有满足一致性条件,才能说明学习方法是有效的。
定理:设存在常数A和B,使得对于函数集的所有函数和给定的概率分布F(x,y),有下列不等式成立: