手打SVM公式推导以及利用对偶学习算法求解全过程

手打SVM公式推导以及利用对偶学习算法求解全过程

视频地址
以下是看完 视频的笔记，涉及 SVM公式的推导、求解全过程：

1. svm三宝：间隔、对偶，核函数。
2. SVM分为：硬间隔SVM、软间隔SVM、核函数。

公式推导：

$$\{\begin{array}{rl}& maxmargin(w,b)\\ & s.t.y_i(w^T{x}_i+b)>0,(i\in 1,2,...,N)\end{array}$$

由于$y_i$=-1或者+1，由点到直线的距离公式可推：
$$\begin{array}{rl}maxmargin(w,b)& =\underset{w,b}{\max }\underset{x_i}{\min }distance(w,b,x_i)\\ & =\underset{w,b}{\max }\underset{x_i}{\min }\frac{1}{||w||}|w^T{x}_i+b|\\ & =\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }|w^T{x}_i+b|\\ & =\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }{y}_i(w^T{x}_i+b)\end{array}$$

由于同时对w,b进行缩放不影响 超平面 $w^T{x}_i+b$ 的表达。所以，我们令 $y_i(w^T{x}_i+b)=1$,则上式可化为：
$$\begin{array}{rl}maxmargin(w,b)& =\underset{w,b}{\max }\frac{1}{||w||}\\ & =\underset{w,b}{\min }\frac{1}{2}||w||\end{array}$$

这里的 $\frac{1}{2}$是我们方便求导加上去的，不影响求最值。这里的 $||w||$ 就是w的2范数，也就是 $w^{T}w$.
所以，最终 SVM的公式可表示为：
$$\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ & s.t.\underset{w,b}{\min }{y}_i(w^T{x}_i+b)=1\end{array}$$

也就是：
$$\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ & s.t.y_i(w^T{x}_i+b)\ge 1\end{array}$$

也就是：
$$\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ & s.t.1-y_i(w^T{x}_i+b)\le 0\end{array}$$

求解

考虑上面的这个带约束的二次凸优化问题，我们可以利用拉格朗日公式化为 无约束优化问题，然后，转化为一个最小最大的原始问题，
然后，由于二次凸优化问题，对偶问题的解=原始问题的解。并且，强对偶满足KKT条件，我们就可以利用KKT条件对拉格朗日公式进行求导，进而求出最优值。

带约束的问题：
$$\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ & s.t.1-y_i(w^T{x}_i+b)\le 0\end{array}$$

利用拉格朗日公式化为 无约束问题：引入参数 ${\lambda }_i={\lambda }_1,{\lambda }_2,...,{\lambda }_N$
$$\begin{array}{r}L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b))\end{array}$$

则带约束的问题可以转化为下面无约束问题：
$$\{\begin{array}{rl}& \underset{w,b}{\min }\underset{{\lambda }_i}{\max }L(w,b,\lambda )\\ & s.t.{\lambda }_i\ge 0\end{array}$$

根据对偶关系，上面的无约束的最小最大原始问题，可以转化为它的对偶问题，即最大最小问题：
$$\{\begin{array}{rl}& \underset{{\lambda }_i}{\max }\underset{w,b}{\min }L(w,b,{\lambda }_i)\\ & s.t.{\lambda }_i\ge 0\end{array}$$
（1）先求 $\underset{w,b}{\min }L(w,b,\lambda )$
$L(w,b,{\lambda }_i)$分别对w,b进行求导，可以得到：
$$w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\lambda }_i{y}_i=0$$

代入拉格朗日函数 $L(w,b,\lambda )$中可得：

$$\underset{w,b}{\min }L(w,b,\lambda )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\lambda }_i$$

(2) 求 $\underset{{\lambda }_i}{\max }\underset{w,b}{\min }L(w,b,\lambda )$
$$\begin{array}{rl}\underset{{\lambda }_i}{\max }\underset{w,b}{\min }L(w,b,\lambda )& =\{\begin{array}{rl}\underset{{\lambda }_i}{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\lambda }_i\\ s.t.& \sum _{i=1}^N{\lambda }_i{y}_i=0\\ & {\lambda }_i\ge 0,i=1,2,...,N\end{array}\end{array}$$

由求极大值转化为求极小值：
则最终原问题的对偶问题可表达为：
$$\begin{array}{rl}\underset{{\lambda }_i}{\max }\underset{w,b}{\min }L(w,b,\lambda )& =\{\begin{array}{rl}\underset{{\lambda }_i}{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\lambda }_i\\ s.t.& \sum _{i=1}^N{\lambda }_i{y}_i=0\\ & {\lambda }_i\ge 0,i=1,2,...,N\end{array}\end{array}$$

假设上式对偶问题对 $\lambda$的解为
$${\lambda }^{\ast }=({\lambda }_1^{\ast },{\lambda }_2^{\ast },,...,{\lambda }_N^{\ast }{)}^T$$
则可以由 ${\lambda }^{\ast }$ 求出$w^{\ast },b^{\ast }$.

注意！这块的证明以及定理可以去参考《统计学习方法》第二版105页，这里不做具体证明。

根据KKT条件可以求出：
$$w^{\ast }=\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i(x_i\cdot x_j)$$

由此，可写出分离超平面为：
$$\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$

分类决策函数可以写成：
$$f(x)=sign(\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

说明：这里的x指的是测试样本输入，则由此可以看出，分类决策函数只依赖于输入x和训练样本$x_i$的內积。