文本分类学习 （七）支持向量机SVM 的前奏 结构风险最小化和VC维度理论

前言:

经历过文本的特征提取，使用LibSvm工具包进行了测试，Svm算法的效果还是很好的。于是开始逐一的去了解SVM的原理。

SVM 是在建立在结构风险最小化和VC维理论的基础上。所以这篇只介绍关于SVM的理论基础。

目录：

文本分类学习（一）开篇
文本分类学习（二）文本表示
文本分类学习（三）特征权重（TF/IDF）和特征提取 　　
文本分类学习（四）特征选择之卡方检验
文本分类学习（五）机器学习SVM的前奏-特征提取（卡方检验续集）
文本分类学习（六）AdaBoost和SVM（残）

1.泛化误差界

机器学习的能力和它的表现，有一个衡量的标准那就是统计学习中的泛化误差界。所谓泛化误差，就是指机器学习在除训练集之外的测试集上的预测误差。传统的机器学习追求在训练集上的预测误差最小化（经验风险，下面会具体说到），然后放到实际中去预测测试集的文本，却一败涂地。这就是泛化性能太差，而泛化误差界是指一个界限值，后面也会解释到。

机器学习实际是在预测一个模型以逼近真实的模型。这其中就必然存在与真实模型之间的误差（风险），这个风险当然是可以计算的。

假设我们有l个观察值，每个观察值由两个元素组成 一个属于Rn(n维空间）的向量：Xi ∈ Rn (i = 1 , 2 , 3 , 4…l) 已经和这个向量相对应的映射值 Yi 在二分类文本中 Xi就表示第i个文本的特征向量，前面介绍过，那么Yi = {+1,-1} 由两个类别组成。