机器学习 - 支持向量机(SVM)

What

SVM即Support Vector Machines——支持向量机，是一种分类器，属于监督学习的范畴。

Q: 给定训练样本 { ( x 1 , y 1 ) , . . . . , ( x i , y i ) } , y i ∈ { − 1 , + 1 } \{(\boldsymbol{x}_1, y_1), ...., (\boldsymbol{x}_i, y_i)\}, y_i \in \{-1, +1\} {(x1​,y1​),....,(xi​,yi​)},yi​∈{−1,+1}，找到一个划分超平面，将不同类别样本分开。
(图:wiki)

对于上述问题，任意二分线性分类器都可以分类。作为一个二分线性分类器，SVM与之不同的是其特殊的划分超平面：要求间隔(margin)最大。如图所示，也就是图中两条虚线之间的间隔最大，划分超平面处于间隔的中间。仔细观察可知，该间隔只与距离超平面最近的几个点有关，而这几个点就被称为Support Vector，这也就是SVM的名字来源。

SVM

这个超平面可以表示为
$${\mathbf{w}}^T\mathbf{x}+b=0$$
则SVM分类器可表示为
$$h_{\mathbf{w},\mathbf{b}}(x)=g({\mathbf{w}}^T\mathbf{x}+b)$$
如果${\mathbf{w}}^T\mathbf{x}+b\ge 0,则g({\mathbf{w}}^T\mathbf{x}+b)=1$ ，反之$g({\mathbf{w}}^T\mathbf{x}+b)=-1$

函数间隔(functional margin)

对任意的样本$({\mathbf{x}}_i,y_i)$，定义函数间隔为
$${\hat{\gamma }}_i=y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)$$
显而易见的是，当分类正确时，$y_i$和${\mathbf{w}}^T{\mathbf{x}}_i+b$是同号的且距离超平面越远值越大，由于 y ∈ { 1 , − 1 } y \in \{1, -1\} y∈{1,−1}，则${\hat{\gamma }}_i$的值为$|{\mathbf{w}}^T{\mathbf{x}}_i+b|$。
那么在真个训练样本上，我们定义函数间隔为所有训练样本中最小的一个:
$$\hat{\gamma }=\underset{i=0,1,...n}{\min }{\hat{\gamma }}_i$$
函数间隔可以表示分类是否正确且可以衡量分类的正确程度，但是，当我们同时缩放$\mathbf{x},b$时并不会改变超平面，但是函数间隔的值会通样进行缩放。为了避免对求解的影响，接下来引入几何间隔。

几何间隔(geometric margin)

给任意一个样本A(${\mathbf{x}}_i,y_i$)，则其到超平面的垂点B为${\mathbf{x}}_i-{\gamma }_i\frac{\mathbf{w}}{||\mathbf{w}||}$，代入超平面解出几何间隔${\hat{\gamma }}_i$
$${\mathbf{w}}^T({\mathbf{x}}_i-{\gamma }_i\frac{\mathbf{w}}{||\mathbf{w}||})+b=0$$
求解为：
$${\gamma }_i=(\frac{\mathbf{w}}{||\mathbf{w}||}{)}^T{\mathbf{x}}_i+\frac{b}{||\mathbf{w}||}$$
几何间隔定义为
$${\gamma }_i=y_i((\frac{\mathbf{w}}{||\mathbf{w}||}{)}^T{\mathbf{x}}_i+\frac{b}{||\mathbf{w}||})$$
特别的，当$||w||=1$时，几何间隔和函数间隔相等。
则全局几何间隔为
$$\gamma =\underset{i=0,1,...n}{\min }{\gamma }_i$$

基本型

$$\begin{gathered} \max \gamma \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge \gamma i=0,1,2,..n \\ ||w||=1 \end{gathered}$$
由于约束中的$||w||=1$无法通过优化算法进行求解，所以需要去掉该项，转化为
$$\begin{gathered} \max \frac{\hat{\gamma }}{||\mathbf{w}||} \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge \gamma i=0,1,2,..n \end{gathered}$$
为了约束w和b的变化，将$\hat{\gamma }$设为一个固定值，
$$\hat{\gamma }=1$$
最终，SVM的基本型为
$$\begin{gathered} \underset{\gamma ,\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=0,1,2,..n \end{gathered}$$

待完善

参考

Andrew Ng 在Stanford时的课堂讲义