西瓜书——支持向量机svm原型推导

第一次听说支持向量机这个名词或许有点懵，这好像有点难以理解这个算法到底是干什么的。其实svm这个算法这个算法是用来分类的。目的是找到一个超平面然后把一堆数据划分成不同类别。映射到二维数据上面，那个超平面就是一条线了。如下图所示：

我们也能看到有很多的线可以划分这两类数据，那我们的目的就是要找一条类似与红色线的划分线。为什么呢？因为这样红线划分的时候划分更清晰，两边留出的“空隙”更多，更平均。因为我们在实际数据中会有很多的噪声（不合理数据），像红色线那样的划分超平面就会对样本的“容忍”性最好，更专业一点的说法就是鲁棒性最好，对未见示例的泛化能力最强。

1、间隔

$w^{T}x+b=0$，该方程用来表示超平面。由欧式几何知识可知(了解即可)，空间中任意一点到超平面的距离$r$
$$r=\frac{|w^{T}x+b|}{||w||}$$
我们一般对绝对值这个符号不怎么感冒，所以我们可以再将式子转换一下。
$$r=\frac{y_i(w^T{x}_i+b)}{||w||},y_i\in (-1,+1)$$
$(x_i,y_i)$就代表一个样本。$y_i$就代表类别种类。

2、间隔最大化

为了让鲁棒性更强，我们就要间隔最大化。
令
$$d=min(r)=min\frac{y_i(w^T{x}_i+b)}{||w||}$$其实$d$就是离超平面最近的那一点离超平面的距离。
为了让间隔最大化就需要$max(d)$,所以我们就可以得到
$$\gamma =max(2d),\frac{y_i(w^T{x}_i+b)}{||w||}\ge d,d>0$$
看着这个式子还是比较复杂，还能再简练一点。
再令$\hat{d}=||w||d$
$$\gamma =max\frac{2\hat{d}}{||w||},y_i(w^T{x}_i+b)\ge \hat{d},\hat{d}\ge 0$$
又因为$\hat{d}$只是一个常数，所以它的取值完全不会影响最优化时$w,b$的求解。那么我们可以将$\hat{d}$设置为1.
所以，$$\gamma =max\frac{2}{||w||},y_i(w^T{x}_i+b)\ge 1,\hat{d}\ge 0$$为了下一步求解更方便，我们将$\gamma$转成一个凸函数的形式，这样我们就可以利用拉格朗日乘子法去求解凸优化问题了。$$\gamma =max\frac{||w|{|}^2}{2},y_i(w^T{x}_i+b)\ge 1,\hat{d}\ge 0$$
至此，svm的原型推导就结束了。