从VC维和结构风险最小原理深入理解SVM

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上。

置信风险： 分类器对 未知样本进行分类，得到的误差。

经验风险： 训练好的分类器，对训练样本重新分类得到的误差。即样本误差

结构风险：置信风险 + 经验风险

结构风险最小化就是为了防止过拟合而提出来的策略，贝叶斯估计中最大后验概率估计就是结构风险最小化的一个例子。当模型的条件概率分布、损失函数是对数损失函数、模型复杂度由模型先验概率表示时，结构风险最小化等价于最大后验概率估计。监督学习问题变成经验风险或结构风险函数的最优化问题，这时经验风险或结构风险函数是最优化的目标函数。

<