李哈哈的模式识别笔记【part 4：支持向量机】

李哈哈的模式识别笔记【part 4：支持向量机】

支持向量机的原理

支持向量：
Support Vector 是距离分类决策边界最近的样本点（向量点）。
通过支持向量，可以找到最大分类间隔下权向量，从而达到一种比价理想的分类决策函数。
支持向量机：Support Vector Machine（SVM）

结构风险最小化准则

什么是最优解？
使得分类间隔d取得最大值的权向量w。
SVM的优点：

1. 它不需要大量的样本，最终解仅由少量支持向量决定。
2. 它具有很强的泛化能力。

两种风险描述：

1. 经验风险：错误分类样本集中的样本的比例
2. 结构风险：一个训练好的分类器在面对未知样本时分类错误的概率

如果一味追求经验风险最小，那么可能出现过拟合情况，比如对于边界是“犬牙交互”形状时，这样的结果就不是很好。
VC维：
定义：一类函数所具有的分类能力。
线性分类器的VC维是3，而二次函数分类器的VC维至少是4。