SVM

SVM运用的方法

1. 间隔
2. 对偶
3. 核技巧

硬间隔

SVM的任务就是找到能够分割不同类别的超平面里最好的那个，这是相对感知机的优点。（最大间隔分类器）

1. 就是让支持向量距离超平面最远。
   因为标签y为1：-1所以可以去掉绝对值。
   注意每一步中谁是变量谁是常量
   因为对于一个平面来说，系数成比例缩放，所代表的平面一样，所以我们令r=1
   
   所以上述问题化简为
   
   最优化问题转化成最小化

最后硬间隔SVM变成纯粹的优化问题（QP问题：二次凸优化）

拉格朗日乘子法

带约束的优化问题——》写成拉格朗日乘子

所以原问题转化为：

所以带约束的优化问题转化为无约束的优化问题

之所以可以转化是因为
利用强对偶关系“=”
凸二次，约束为线性关系：满足强对偶关系

无约束的优化问题直接求导

1. 对b求偏导
   
   
   将w带入
   
   得（min(l(w,b,Γ))）
   
   所以原问题转换为
   

KKT条件（原问题对偶问题具有强对偶关系的充要条件<---->满足kkt条件）

由kkt条件求出w

由kkt和 松弛互补条件求b

最后得

w，b其实是数据（支持向量数据）的线性组合

用数学的方法表示这个过程

软间隔

（·允许一点点错误·）

1. 硬间隔被噪声影响较大
2. 线性不可分，硬间隔分不开

数学表达

loss：犯错误的个数。


上述损失函数不可导
改进

所以软间隔的数学表达为

改进

约束优化问题