SVM算法理论推导

东边有棵树的博客# SVM算法理论推导

断断续续折腾了好几天，终于对SVM算法有了个大致的了解，趁热将自己的理解写下来，一方面加深自己的理解，另一方面以便日后有所遗忘时可随时查阅。理解有不对的地方，请大家多多批评指正。

(1)将原问题化为对偶问题

支持向量机的原问题：
$$\begin{gathered} 最小化：\frac{1}{2}||W|{|}^2+C\sum _{i=1}^N{\xi }_i \\ 限制条件：\{\begin{array}{l}{\xi }_i\ge 0i=1\cdots N\\ y_i[W^T\phi (X_i)+b]\ge 1-{\xi }_{i}i=1\cdots N\end{array}\text{\hspace{1em}(1)} \end{gathered}$$
那这个原问题对应的对偶问题是什么样的形式呢？我们再来回顾一下原问题与对偶问题的定义：

原问题：
$$\begin{gathered} 最小化:f(w) \\ 限制条件:\{\begin{array}{l}{g}_i(w)\le 0i=1\cdots K\\ h_i(w)=0i=1\cdots M\end{array}\text{\hspace{1em}(2)} \end{gathered}$$
定义一函数$L(w,\alpha ,\beta )$为：
$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^K{\alpha }_i{g}_i(w)+\sum _{i=1}^M{\beta }_i{h}_i(w)\text{\hspace{1em}(3)}$$
当然可以用矩阵写成简单的形式：
$$L(w,\alpha ,\beta )=f(w)+{\alpha }^{T}g(w)+{\beta }^{T}h(w)\text{\hspace{1em}(4)}$$
公式$(3)$中${\alpha }^T$和$g(w)$都是$K$维的，而${\beta }^T$和$h(w)$都是$M$维的。则原问题的对偶问题为：
最 大 化 θ ( α , β ) = inf ⁡ 所 有 w {   L ( w , α , β )   } 限 制 条 件 ： α i   ≥   0 ( i = 1 ⋯ K ) (5) 最大化\quad\theta(\alpha,\beta)=\inf \limits_{所有w}\{~L(w,\alpha,\beta)~\}\\限制条件：\alpha_i~\ge~0\quad(i=1\cdots K)\tag{5} 最大化θ(α,β)=所有winf​{ L(w,α,β) }限制条件：αi​ ≥ 0(i=1⋯K)(5)
其中 inf ⁡ 所 有 w {   L ( w , α , β )   } \inf \limits_{所有w}\{~L(w,\alpha,\beta)~\} 所有winf​{ L(w,α,β) }的意思是在限制$\alpha$和$\beta$的情况下遍历所有的$w$求最小值，即每确定一个$\alpha$和$\beta$都能算出一个最小值，即每一个$\alpha$和$\beta$都对应一个值，很明显，这是$\alpha$和$\beta$的函数，故写作$\theta (\alpha ,\beta )$。那么公式$(4)$是针对所有的$\alpha$和$\beta$求最大值，即在所有的最小值中找最大的。

我们发现原问题和对偶问题的定义中原问题的限制条件都是小于等于0的，所以为了更好的进行改写，我们也需要对支持向量机的原问题，即公式$(1)$进行适当的改写，这样就可以很方便的写出其对偶问题。我们看到，$(1)$ 中的限制条件都是大于等于0的，我们要将他们改成小于等于0的，以此对应于$(2)$中的$g_i(w)\le 0$。具体改法如下：
$$\begin{gathered} 首先将{\xi }_i\ge 0改为{\xi }_i\le 0 \\ 则(1)中的最小化的目标函数就要改为： \\ \frac{1}{2}\Vert W{\Vert }^2-C\sum _{i=1}^N{\xi }_i \\ 而y_i[W^T\phi (X_i)+b]\ge 1-{\xi }_i就要改为： \\ {y}_i[W^T\phi (X_i)+b]\ge 1+{\xi }_i \\ 对它再进行一次改造就变成： \\ 1+{\xi }_i-y_i{W}^T\phi (X_i)-y_{i}b\le 0 \end{gathered}$$
我们也可以看出$(1)$中并没有对应于$(2)$中 $h_i(w)=0$的限制条件。这样支持向量机的原问题$(1)$就可以改写成如下形式的原问题：
$$\begin{gathered} 最小化：\frac{1}{2}||W|{|}^2-C\sum _{i=1}^N{\xi }_i \\ 限制条件：\{\begin{array}{l}{\xi }_i\le 0i=1\cdots N\\ 1+{\xi }_i-y_i{W}^T\phi (X_i)-y_{i}b\le 0i=1\cdots N\end{array}\text{\hspace{1em}(6)} \end{gathered}$$
我们就可以写出其对偶问题为：
最 大 化 ： θ ( α , β ) = inf ⁡ 所 有 W , b , ξ i { 1 2 ∣ ∣ W ∣ ∣ 2 − C ∑ i = 1 N ξ i + ∑ i = 1 N β i ξ i + ∑ i = 1 N α i [ 1 + ξ i − y i W T φ ( X i ) − y i b ] } 限 制 条 件 ： α i ≥ 0 , β i ≥ 0 (7) 最大化：\theta(\alpha,\beta)=\inf \limits_{所有W,b,\xi_i}\{\frac{1}{2}||W||^2-C\sum_{i=1}^N\xi_i+\sum_{i=1}^N\beta_i\xi_i+\sum_{i=1}^N\alpha_i[1+\xi_i-y_iW^T\varphi(X_i)-y_ib]\}\tag{7}\\ 限制条件：\alpha_i\ge0,\beta_i\ge0 最大化：θ(α,β)=所有W,b,ξi​inf​{21​∣∣W∣∣2−Ci=1∑N​ξi​+i=1∑N​βi​ξi​+i=1∑N​αi​[1+ξi​−yi​WTφ(Xi​)−yi​b]}限制条件：αi​≥0,βi​≥0(7)
上式中的${\alpha }_i,{\beta }_i$就对应$(5)$式中的${\alpha }_i$。$(2)$式中我们待求的是$w$，而对应到$(6)$式中我们待求的就是$W,b,{\xi }_i$，所以在$(7)$式中的$inf$下面是遍历所有的$W,b,{\xi }_i$。

(2)对偶问题化简

为了方便，我们令：
$$L(W,b,{\xi }_i)=\frac{1}{2}||W|{|}^2-C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\beta }_i{\xi }_i+\sum _{i=1}^N{\alpha }_i[1+{\xi }_i-y_i{W}^T\phi (X_i)-y_{i}b]\text{\hspace{1em}(8)}$$
遍历所有的$W,b,{\xi }_i$求$L(W,b,{\xi }_i)$的最小值，我们利用$L(W,b,{\xi }_i)$对$W,b,{\xi }_i$求偏导并使偏导为0来求，最终得到的最小值的表达式肯定是$\alpha ,\beta$的函数。
$$\{\begin{array}{c}\frac{\partial L}{\partial W}=W-{\sum }_{i=1}^N{\alpha }_i{y}_i\phi (X_i)=0\\ \frac{\partial L}{\partial b}=-{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ \frac{\partial L}{\partial {\xi }_i}=-NC+N{\beta }_i+N{\alpha }_i=0\end{array}\text{\hspace{1em}(9)}$$
进一步可推得：
$$W=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i)\text{\hspace{1em}(10)}$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(11)}$$

$${\alpha }_i+{\beta }_i=C\text{\hspace{1em}(12)}$$

将式$(10)、(11)、(12)$带入公式$(7)$得：
$$最大化：\theta (\alpha ,\beta )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j\phi (X_i{)}^T\phi (X_j)\text{\hspace{1em}(13)}$$
计算时比较麻烦的是$\frac{1}{2}||W|{|}^2$，这里将计算过程记录一下。$||W|{|}^2$可以写作：
$$||W|{|}^2=W^{T}W=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i{)}^T\sum _{j=1}^N{\alpha }_j{y}_j\phi (X_j)\text{\hspace{1em}(14)}$$
将公式$(14)$展开就可以得到：
$$\begin{gathered} ||W|{|}^2=[{\alpha }_1{y}_1\phi (X_1{)}^T+{\alpha }_2{y}_2\phi (X_2{)}^T+{\alpha }_3{y}_3\phi (X_3{)}^T+\cdots +{\alpha }_N{y}_N\phi (X_N{)}^T] \\ \ast [{\alpha }_1{y}_1\phi (X_1)+{\alpha }_2{y}_2\phi (X_2)+{\alpha }_3{y}_3\phi (X_3)+\cdots +{\alpha }_N{y}_N\phi (X_N)]\text{\hspace{1em}(15)} \end{gathered}$$
则将式$(15)$中第一行中括号里的变量分别乘以整个第二行整个中括号的表达式，然后再加起来即可：
$$\begin{gathered} ||W|{|}^2={\alpha }_1{y}_1\phi (X_1{)}^T\ast [{\alpha }_1{y}_1\phi (X_1)+{\alpha }_2{y}_2\phi (X_2)+{\alpha }_3{y}_3\phi (X_3)+\cdots +{\alpha }_N{y}_N\phi (X_N)] \\ +{\alpha }_2{y}_2\phi (X_2{)}^T\ast [{\alpha }_1{y}_1\phi (X_1)+{\alpha }_2{y}_2\phi (X_2)+{\alpha }_3{y}_3\phi (X_3)+\cdots +{\alpha }_N{y}_N\phi (X_N)] \\ +{\alpha }_3{y}_3\phi (X_3{)}^T\ast [{\alpha }_1{y}_1\phi (X_1)+{\alpha }_2{y}_2\phi (X_2)+{\alpha }_3{y}_3\phi (X_3)+\cdots +{\alpha }_N{y}_N\phi (X_N)] \\ \cdots \\ +{\alpha }_N{y}_N\phi (X_N{)}^T\ast [{\alpha }_1{y}_1\phi (X_1)+{\alpha }_2{y}_2\phi (X_2)+{\alpha }_3{y}_3\phi (X_3)+\cdots +{\alpha }_N{y}_N\phi (X_N)]\text{\hspace{1em}(16)} \end{gathered}$$
而我们又知道两个$\sum$在一起，表示第一个固定的情况下，第二个从头改变到到尾，然后第一个再改变一下，第二个再从头改变到尾，一直到第一个改变到最后，把整个过程加起来。所以上面的$(16)$式就可以写作：
$$||W|{|}^2=\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j\phi (X_i{)}^T\phi (X_j)\text{\hspace{1em}(17)}$$
接下来我们来看限制条件有什么变化：
$$\begin{gathered} 因为：{\alpha }_i\ge 0,{\beta }_i\ge 0 \\ 根据公式(12)又可知：{\alpha }_i+{\beta }_i=C \\ 所以可得：0\le {\alpha }_i\le C \\ 根据公式(11)又有：\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
所以最终可得对偶问题化简以后问题为：
$$\begin{gathered} 最大化：\theta (\alpha ,\beta )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j\phi (X_i{)}^T\phi (X_j) \\ 限制条件：\{\begin{array}{l}0\le {\alpha }_i\le Ci=1\cdots N\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0i=1\cdots N\end{array}\text{\hspace{1em}(18)} \end{gathered}$$
其中的$\phi (X_i{)}^T\phi (X_j)$正好是核函数，从这点可看出我们并不需要知道$\phi (X)$ 的显示表达就可进行求解。同时这也是一个二次规划问题，可以使用通用的二次规划算法来求解，但有一种更高效简单的算法叫SMO算法。这个算法我们以后再说。

(3)求出分割超平面

当我们要求$W$时，我们发现一个问题：
$$W=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i)\text{\hspace{1em}(19)}$$
我们并不知道$\phi (X_i)$的具体表达式，根本无法求出$W$，事实是我们根本不用求出$W$。因为我们最终的结果是测试时，每输入一个样本$X$，看$W^T\phi (X)+b$的结果是大于等于0还是小于0就行了。大于等于0的是一类，小于0的是另一类。于是我们有：
$$W^T\phi (X)=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i{)}^T\phi (X)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)\text{\hspace{1em}(20)}$$
核函数又一次出现，解决了这个问题。接下来我们求$b$，根据$KKT$条件，对所有的$i=1\cdots N$，有：
$$\begin{gathered} {\alpha }_i[1+{\xi }_i-y_i{W}^T\phi (X_i)-y_{i}b]=0 \\ {\beta }_i{\xi }_i=0\Rightarrow (C-{\alpha }_i){\xi }_i=0 \end{gathered}$$
$\alpha$是一个向量，可以写成矩阵形式$\alpha =[{\alpha }_1,{\alpha }_2,{\alpha }_3\cdots {\alpha }_k\cdots {\alpha }_N{]}^T$，如果对于$\alpha$的某一个分量${\alpha }_k$，有${\alpha }_k\ne 0$且${\alpha }_k\ne C$，则根据$KKT$条件，必有${\xi }_k=0$，且：
$$1+{\xi }_k-y_k{W}^T\phi (X_k)-y_{k}b=0\text{\hspace{1em}(21)}$$
其种$X_k$就是${\alpha }_k$对应的训练样本，$y_k{W}^T\phi (X_k)$可以写成：
$$y_k{W}^T\phi (X_k)=y_k\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X_k)\text{\hspace{1em}(22)}$$
所以，只须找一个$0\le {\alpha }_k\le C$，就可将$b$求出：
$$b=\frac{1-y_k{\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X_k)}{y_k}\text{\hspace{1em}(23)}$$
实际任务中常采用一种更鲁棒的做法：选择多个处于$0$到$C$之间的$\alpha$的分量求出多个$b$然后取平均。

(4)测试

对于一个测试样本$X$，我们要判断其所属的类别，则我们计算
$$W^T\phi (X)+b=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i{)}^T\phi (X)+b=\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\text{\hspace{1em}(24)}$$
判别标准为：
$$\{\begin{array}{l}如果{\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\ge 0，则X\in C_1\\ 如果{\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b<0，则X\in C_2\end{array}$$
最终我们只通过核函数也能完成对$X$的类别判决。