线性可分支持向量机（SVM）与硬间隔最大化

分类决策函数:
$$f(x)=sign(wx+b)$$
其中
$$sign(z)=\{\begin{array}{ll}+1& ifz\ge 0\\ -1& otherwise\end{array}$$

训练数据T中的一个样本$(x^{(i)},y^{(i)})$的函数间隔：
$$\hat{\gamma }(i)=y^{(i)}(wx+b).$$

函数间隔有个问题，比如将w和b增大2倍，间隔就会增大2倍，但这没有什么意义！！！因为超平面还是那个超平面，而我们的目标是选一个较好的超平面。

为此我们定义一个与w,b的比例尺无关的几何间隔（对w，b使用L2正则化）：

$$\gamma (i)=y^{(i)}(\frac{w}{||w||}x+\frac{b}{||w||}).$$

整个训练数据T的函数间隔：
$$\gamma =\underset{i=1,\cdots ,N}{\min }\gamma (i)$$
优化问题为：
$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & s.t.y^{(i)}(\frac{w}{||w||}{x}^{(i)}+\frac{b}{||w||})\ge \gamma \end{array}$$
因为$\gamma =\frac{\hat{\gamma }}{||w||}$

则该优化问题等价于：

$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ & s.t.y^{(i)}(\frac{w}{||w||}{x}^{(i)}+\frac{b}{||w||})\ge \frac{\hat{\gamma }}{||w||}\end{array}$$

即
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ & s.t.y^{(i)}(w{x}^{(i)}+b)\ge \hat{\gamma }\end{array}$$

因为比例缩放不影响最优化问题的不等式约束，我们可以让$\hat{\gamma }=1$,则最优化问题变成
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{||w||}\\ & s.t.y^{(i)}(w{x}^{(i)}+b)\ge 1\end{array}$$
因为最大化$\frac{1}{||w||}$和最小化$\frac{1}{2}||w|{|}^2$是等价的，所以最优化问题变成：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & s.t.y^{(i)}(w{x}^{(i)}+b)-1\ge 0\end{array}$$

对每个不等式约束引入一个拉格朗日算子${\alpha }_i\ge 0$,定义拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i[y^{(i)}(w{x}^{(i)}+b)-1]$$
则原始问题为：
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
其拉格朗日对偶问题为：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

令
$$\begin{array}{rl}& {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)}=0\\ & {\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}^{(i)}=0\end{array}$$

得到
$$\begin{array}{rl}\underset{w,b}{\min }L(w,b,\alpha )& =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}(x^{(i)}\cdot x^{(j)})+\sum _{i=1}^N{\alpha }_i\\ w& =\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)}\end{array}$$

一般情况下$\max \min <\min \max$
,只有KKT条件成立的时候，原始问题的解才和对偶问题的解相等。

对于形如
$$\begin{array}{rl}& \underset{w}{\min }f(w)\\ & \begin{array}{rl}s.t.g_i(w)& \le 0,i=1,...,k\\ h_i(w)& =0,i=1,...,l.\end{array}\end{array}$$
拉格朗日函数为
$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^l{\beta }_i{h}_i(w).$$
的问题，其KTT条件如下：
$$\begin{array}{rl}\frac{\partial }{\partial w_i}L(w,\alpha ,\beta )& =0,i=1,\cdots ,N\\ \frac{\partial }{\partial {\beta }_i}L(w,\alpha ,\beta )& =0,i=1,\cdots ,l\\ {\alpha }_i{g}_i(w)& =0,i=1,\cdots ,k\\ g_i(w)& \le 0,i=1,\cdots ,k\\ {\alpha }_i& \ge 0,i=1,\cdots ,k\end{array}$$
注意因为$g_i(w)=-[y^{(i)}(w{x}^{(i)}+b)-1]\le 0$,
如果${\alpha }_i>0$,则必有$g_i(w)$=0,则说明样本$i$距离分割超平面的距离为1，我们称这样的点为支持向量.

假设${\alpha }_j>0$,则
$$y^{(j)}(w{x}^{(j)}+b)-1=0$$
将w的值代入，得
$$\begin{array}{rl}0& =y^{(j)}(\sum {\alpha }_i{y}^{(i)}{x}^{(i)}{x}^{(j)}+b)-1\\ & =(y^{(j)}{)}^2(\sum {\alpha }_i{y}^{(i)}{x}^{(i)}{x}^{(j)}+b)-y^{(j)}\\ & =\sum {\alpha }_i{y}^{(i)}{x}^{(i)}{x}^{(j)}+b-y^{(j)}\end{array}$$
则
$$b=y^{(j)}-\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)}{x}^{(j)}$$

在得到$w$和$b$之后，当我们对新的数据·$x$进行分类，即判断wx+b的符号，将w的值代入得：
$$\begin{array}{rl}{w}^{T}x+b& =(\sum _{i=1}^N{\alpha }_i{y}^{(i)}{x}^{(i)}{)}^{T}x+b\\ & =\sum _{i=1}^N{\alpha }_i{y}^{(i)}⟨x^{(i)},x⟩+b\end{array}$$
注意只有支持向量$i$对应的${\alpha }_i$才可能大于0，而其他的${\alpha }_i$均为0，因为训练样本中只有很少的几个点是支持向量，因此上述计算过程中计算内积将会减少很多开销。当然这也说明了一点，最后得到的分类器其实只和支持向量有关，和其他的点无关。

参考文献：

[1] http://cs229.stanford.edu/notes/cs229-notes3.pdf
[2] 统计学习方法-李航