SVM基础

Support Vector Machines基础

1 SVM的优缺点：

1.1 优点：

• 高维空间适用
• 当特征数量大于样本数量时仍适用
• 支持向量是训练集子集，省空间
• 可选核函数适用不同的实际训练情况

1.2 缺点：

• 特征数大于样本数容易过拟合
• 不能给出类别的概率输出

2 分类（SVC）：

2.1 支持向量机公式：

这实际上是具有软间隔的SVM的表达形式，其中xi是训练的向量，y是类别标签，值为1或-1.

其对偶形式为：

（直接传图了）

---

对偶形式的由来：

当我们有了SVM的基本模型之后，需要考虑的是如何去求解这个模型，这是算法的关键。
对于这种带约束的凸优化问题（这里SVM的模型是凸的），可根据拉格朗日乘子法得其对偶形式（具体可以参考凸优化相关书籍或者《机器学习》）。使用拉格朗日乘子法，就要引