线性支持向量机

1. 线性SVM模型

线性支持向量机的思想非常朴素：用一个超平面将两类数据分割开来。

如上图，这样的超平面有无数个，选择哪个超平面更好呢？从上图可以看出，平面①会将红色的两个数据分错，平面②则不会，这是因为平面②将两边的间隔分得更大。所以，我们应该选择将两边间隔分割得最大的超平面。

设超平面为$w^{T}x+b=0$,类别标记$y_i\in [-1,1]$。现将超平面上下平移，直到有数据穿过为止，此时$w^T{x}_i+b=1或w^T{x}_i+b=-1$。如下图：

被穿过的数据$x_i$称为支持向量，而某支持向量到超平面的距离的2倍称为间隔：$margin=\frac{2}{||w||}$，要最大化间隔可以最小化$||w||$。并且,所有数据满足：
$$\begin{array}{r}\{\begin{array}{ll}{w}^T{x}_i+b\ge +1& ,y_i=+1\\ w^T{x}_i+b\le -1& ,y_i=-1\end{array}\\ \\ 即：y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}$$
上述不等式表达的意思是：所有数据点都要分类正确。

总之，线性SVM模型目标在于求解$w,b$，使得数据点均分类正确的情况下，同时间隔要最大化，即：

$$\begin{array}{rl}& mi{n}_{[w,b]}\frac{1}{2}||w|{|}^2\\ & \\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}$$

这就是线性支持向量机的模型。它是一个凸二次规划问题，关于这类问题有很多方法可以求解，有兴趣的可以去学习凸优化理论。然而，伟大的数学家发明出了更高效的方法(对偶问题)来求解。

2. 对偶理论

一般的优化问题如下：

$$\begin{array}{rl}& mi{n}_{[x]}g(x)\\ & \\ & s.t.f_i(x)\le 0,i=1,2,...,m\\ & h_i(x)=0,i=1,2,...,q\end{array}$$
构造拉格朗日辅助函数:$L(x,\alpha ,v)=g(x)+{\sum }_{i=1}^m{\alpha }_i{f}_i(x)+{\sum }_{i=1}^q{v}_i{h}_i(x),({\alpha }_i\ge 0)$

现在我们对L最大化$\alpha ,v$得：
m a x [ α , v ] L ( x , α , v ) = g ( x ) + m a x { ∑ i = 1 m α i f i ( x ) + ∑ i = 1 q v i h i ( x ) } \begin{aligned} max_{[\alpha,v]} \enspace L(x,\alpha,v)=g(x)+max\{\sum_{i=1}^m \alpha_if_i(x)+\sum_{i=1}^qv_ih_i(x)\} \end{aligned} max[α,v]​L(x,α,v)=g(x)+max{ i=1∑m​αi​fi​(x)+i=1∑q​vi​hi​(x)}​
由于$f_i(x)\le =0且{\alpha }_i\ge 0$，则 ${\alpha }_i{f}_i(x)$的取值为负无穷到0,得到$max{\sum }_{i=1}^m{\alpha }_i{f}_i(x)=0$；又$h_i(x)=0,则max{\sum }_{i=1}^q{v}_i{h}_i(x)=0$。故推导出:
$$\begin{array}{r}g(x)=ma{x}_{[\alpha ,v]}L(x,\alpha ,v)\end{array}$$
那么原问题可以表达为：$p^{\ast }=mi{n}_{[x]}ma{x}_{[\alpha ,v]}L(x,\alpha ,v)$

其对偶问题为：$d^{\ast }=ma{x}_{[\alpha ,v]}mi{n}_{[x]}L(x,\alpha ,v)$ (强对偶条件成立时)

观察原问题和对偶问题的表达式，其实就是交换了一下求解次序。这样做的意义在于：直接求解$p^{\ast }$ 是非常困难的。但是交换了次序后，先求解$mi{n}_{[x]}L(x,\alpha ,v)$可能非常简单，再求解$ma{x}_{[\alpha ,v]}$也可能非常简单。

我们现在看d*是如何推导出来的：

设拉格朗日对偶函数：$h(\alpha ,v)=mi{n}_{[x]}L(x,\alpha ,v)$。再任取$x_0$是原问题可行的点，即满足$f_i(x_0)\le 0,h_i(x_0)=0$，有：
$$\begin{array}{rl}由于{\alpha }_i\ge 0,则\sum _{i=1}^m{\alpha }_i{f}_i(x_0)+\sum _{i=1}^q{v}_i{h}_i(x_0)& \le 0\\ L(x_0,\alpha ,v)=g(x_0)+\sum _{i=1}^m{\alpha }_i{f}_i(x_0)+\sum _{i=1}^q{v}_i{h}_i(x_0)& \le g(x_0)\\ h(\alpha ,v)=mi{n}_{[x]}L(x,\alpha ,v)\le L(x_0,\alpha ,v)& \le g(x_0)\end{array}$$
即， h