【机器学习03---SVM支持向量机(KKT,Dual)】

---

前言

SVM的目标是找到一个超平面，能够将不同类别的数据点有效地分开，并尽可能地使不同类别的数据点之间的间隔最大化。这些位于不同类别边界上的数据点被称为支持向量；

---

SVM的目标函数

SVM就是解决Max（margin），也就是最大化2/｜w｜，即最小化｜w｜

hard constrain

soft constrain

将soft constrain 转化为hinge loss问题：
目标函数 ：

对其进行梯度下降：

KKT条件(进行优化)

KKT condition for SVM

非线性SVM模型（Dual 问题）

将数据先映射到高维空间中，从高维空间进入分类器

dual问题的目标函数

举一个映射到高维空间的例子：

发现高维空间计算内积还是依赖原始的model；

映射到高维空间的方法：kernel trick的方法

（1）linear kernel：
k(x,y) = （x^T）·y
（2）poly kernel：
k(x,y) = (1+(x^T)·y)^d
（3）Gassia kernerl：
k(x,y) = exp(|x-y|²/2r²)