机器学习之支持向量机

一、支持向量机的概念

支持向量机(Support Vector Machine)是一类按监督学习方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。
SVM有三宝：间隔、对偶、核技巧
SVM有三种：hard-margin SVM、soft-margin、kernel SVM
给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) , } , y i ∈ { − 1 , + 1 } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m),\},y_i\in\{-1,+1\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​),},yi​∈{−1,+1},在样本空间中找到一个超平面，尽可能将不同类别的样本分开，使得这个划分超平面所产生的分类结果是最鲁棒的，如下图中的粗线部分。

划分超平面可通过如下线性方程来描述：
$$w^{T}x+b=0$$
其中$w=(w_1;w_2;...w_d)$为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离，划分超平面被法向量w和位移b确定。
支持向量机$f(x)=sign(w^{T}x+b)$是一个经典判别模型。

二、SVM基本型推导

SVM也叫最大间隔分类器，定义模型为：

$$\begin{gathered} maxmargin(w,b)=maxdistance(w,b,x_i)(1) \\ s.t.\{\begin{array}{r}{w}^T{x}_i+b\ge 0,y_i=+1\\ w^T{x}_i+b\le 0,y_i=-1\end{array},i=1,2,...,m(2) \end{gathered}$$
通过将(2)伸缩变换可得：
$$s.t.\{\begin{array}{r}{w}^T{x}_i+b\ge 1,y_i=+1\\ w^T{x}_i+b\le -1,y_i=-1\end{array}(3)$$
设划分超平面上一点为x‘,则有$w^T{x}^{\prime }=-b(4)$
距离公式：
$r=|\frac{w^T}{||w||}(x-x^{\prime })|(投影)=\frac{1}{||w||}|w^{T}x+b|(代入(4)式)$

如图所示，距离超平面最近的这几个训练样本点使得(3)式等号成立，所以对于最近的点有$|w^T+b|=1$,他们被称为”支持向量“，根据距离公式带入得：

$$r=\frac{1}{||w||}(5)$$
两个异类支持向量机到超平面的距离之和为：
$$\gamma =\frac{2}{||w||}(6)$$
它被称为间隔(margin).
想要找到最大间隔(maximum margin)的划分超平面，也就是找到满足(3)式种约束参数w和b，使得$\gamma$最大，即
$$\begin{array}{rl}& \underset{w,b}{\max }=\frac{2}{||w||}\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}(7)$$
显然最大化间隔，仅需要最大化$||w|{|}^{-1}$,这等价于最小化$||w|{|}^2$,于是（7）式重写为

$$\begin{array}{rl}& \underset{w,b}{\min }=\frac{1}{2}{||w||}^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}(8)$$
(8)式即为SVM的基本型