线性SVM

一、线性SVM解释及数学模型

    我们首先用一个经典的二分类问题作为SVM的切入点，图(b)和图(c)是对图(a)中数据的两种不同的分法。从人的第一感觉，图(b)把两类数据分的开些。

    这是一个二维数据的图像，黑色点代表正例，标签y=1，白色点代表负例，标签y=-1(这里为什么不用y=0后面解释)。可以看到图中有两条虚线和一条实线，如何用数学的方法解释将数据分的开一些呢？

样本空间中，实线公式：
w * x+b=0     将其记为(w,b),对于高维空间同样适用，就变成了超平面。

点x到超平面的距离公式为：

于是有：

两个式子合并为：

两类数据到分隔实线的距离关系，即为：

于是将两类数据分隔开的距离表达式为2/||w||.

SVM要做的就是使得分隔开的距离最大化，因此得出优化方程：

正是由于将负例标签y设为-1，所以就可以将边界条件整合成一个式子了。

为了数学的运算方便，将其转化为下面的形式，于是得出了最终的优化方程：

我们一般会把求最大值转化为求最小值来处理，要做优化一般都要求导，所以转化为这样的凸优化形式方便求导后的简便。

---

二、优化问题

1.拉格朗日乘子法

  本科学过关于拉格朗日乘子法求最值问题，当时的边界条件是等式。该方法的基本思路是将边界条件带入方程，这必然要引入新的参数，于是将所得参数求偏导令为0，即可求出最优解。 这里的边界条件是不等式，所以稍难些，将不等式边界条件转化为一重(chong)最值即可。
利用拉格朗日乘数法构建函数：

  其中 $\alpha$ 为向量且$\alpha_i$