支持向量机（1）

算法原理

从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本最远的超平面，其解是唯一的，且不偏不倚，泛化性能更好。
在样本空间中，划分超平面可以通过如下线性方程来描述：
$$w^{T}x+b=0$$
其中w为法向量，决定了超平面的方向，b为为位移项，决定了超平面与原点之间的距离。
关于超平面：

几何间隔:

支持向量机

• 模型：
  
• 策略
  关于第一个式子的理解：找到数据集里的数据到超平面距离最小的那个让他最大化
  最大化问题可以转为最小化问题

对偶问题

注意到上述最小化问题本身是一个凸二次规划问题
可以使用拉格朗日乘子法得到其“对偶问题”

对w,b求偏导得
将上述式子带入“对偶问题
上述式子还需要遵循KKT条件

我们会发现式子要么ai=0或者yif(x)=1，为了求解最优化参数，这是一个二次规划问题，需要使用SMO算法