机器学习—支持向量机理论详细推导（含例题讲解）（三）

9.对偶算法

:构造优化问题 $$\begin{array}{rl}& \underset{\alpha }{\min }{\theta }_D(\alpha )=\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

我们求得的${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$，N个元素，存在${\alpha }_j^{\ast }>0$，$j$对应样本点$(x_j,y_j)$。

(其实我们用的$(x_j,y_j)$就是支持向量)。

:计算参数 $${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

b ∗ = y j − ∑ i = 1 N α i ∗ y i ( x i ⋅ x j ) ⇒ y j − ω ∗ ⋅ x j = b ∗ ⇒ ω ∗ ⋅ x j + b ∗ = y j ∈ { − 1 , + 1 } \begin{split} &b^{*}=y_j-\sum_{i=1}^{N}\alpha_i^{*}y_i(x_i\cdot x_j)\\ \Rightarrow &y_j-\omega^{*}\cdot x_j=b^{*}\\ \Rightarrow &\omega^{*}\cdot x_j+b^{*}=y_j\in\{-1,+1\} \end{split} ⇒⇒​b∗=yj​−i=1∑N​αi∗​yi​(xi​⋅xj​)yj​−ω∗⋅xj​=b∗ω∗⋅xj​+b∗=yj​∈{−1,+1}​

我们上面等式恰好表示间隔边界。

如何找支持向量呢？

我们看一个例题:

优化问题 $$\begin{array}{rl}& \min \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{y}_i{\alpha }_i=0,{\alpha }_i,i=1,2,3\end{array}$$

当$x_1,x_1$时: $${\alpha }_1{\alpha }_1{y}_1{y}_1(x_1\cdot x_1)=18{\alpha }_1^2$$

当$x_1,x_2$时:
$$2{\alpha }_1{\alpha }_2{y}_1{y}_2(x_1\cdot x_2)=42{\alpha }_1{\alpha }_2$$

当$x_1,x_3$时:
$$2{\alpha }_1{\alpha }_3{y}_1{y}_3(x_1\cdot x_3)=-12{\alpha }_1{\alpha }_3$$

当$x_2,x_2$时: $${\alpha }_2{\alpha }_2{y}_2{y}_2(x_2\cdot x_2)=25{\alpha }_2^2$$

当$x_2,x_3$时:
$$2{\alpha }_2{\alpha }_3{y}_2{y}_3(x_2\cdot x_3)=-14{\alpha }_2{\alpha }_3$$

当$x_3,x_3$时: $${\alpha }_3{\alpha }_3{y}_3{y}_3(x_3\cdot x_3)=2{\alpha }_3^2$$

我们代入: $$\begin{array}{rl}\Rightarrow & \min \frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-({\alpha }_1+{\alpha }_2+{\alpha }_3)\\ & \sum _{i=1}^N{y}_i{\alpha }_i=0\Rightarrow {\alpha }_1+{\alpha }_2-{\alpha }_3=0\end{array}$$

我们将${\alpha }_1+{\alpha }_2-{\alpha }_3=0$代入计算:
$$\begin{gathered} \Rightarrow \min 4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2 \\ =s({\alpha }_1,{\alpha }_2) \end{gathered}$$

我们需要找$s({\alpha }_1,{\alpha }_2)$的最小值。

如果求偏导数: $$\{\begin{array}{rl}& \frac{\partial s}{\partial {\alpha }_1}=8{\alpha }_1+10{\alpha }_2-2=0\\ & \frac{\partial s}{\partial {\alpha }_2}=13{\alpha }_2+10{\alpha }_1-2=0\end{array}$$

我们解出: $$\{\begin{array}{rl}& {\alpha }_1=\frac{3}{2}\\ & {\alpha }_2=-1\end{array}$$

因为${\alpha }_1,{\alpha }_2,{\alpha }_3\ge 0$，所以不满足条件。

如果不能使用费马原理，我们猜测是否在边界上。

（1）如果${\alpha }_1=0$
$$s(0,{\alpha }_2)=\frac{13}{2}{\alpha }_2^2-2{\alpha }_2\Rightarrow {\alpha }_2=\frac{2}{13},s=-\frac{2}{13}$$

（2）如果${\alpha }_2=0$
$$s({\alpha }_1,0)=4{\alpha }_1^2-2{\alpha }_1\Rightarrow {\alpha }_1=\frac{1}{4},s=-\frac{1}{4}$$

我们解出${\alpha }_1=\frac{1}{4},{\alpha }_2=0,{\alpha }_3=\frac{1}{4}$，说明$x_1$和$x_3$是支持向量。

求解参数 $$\begin{array}{rl}& {\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=\frac{1}{4}(3,3{)}^T-\frac{1}{4}(1,1{)}^T=(\frac{1}{2},\frac{1}{2}{)}^T\\ & b^{\ast }=y_j-{\omega }^{\ast }\cdot x_j\\ \Rightarrow & b^{\ast }=1-(\frac{1}{2},\frac{1}{2}{)}^T\cdot (3,3{)}^T=1-3=-2,j=1\\ & b^{\ast }=-1-(\frac{1}{2},\frac{1}{2}{)}^T\cdot (1,1{)}^T=-1-1=-2,j=3\end{array}$$

分离超平面: $$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$

决策函数为: $$f(x)=sign(\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2)$$

10.线性支持向量机的原始问题

训练集:
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) }    ,    x i ∈ χ ∈ R n    ,    y i ∈ { + 1 , − 1 } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}\;,\;x_i\in\chi\in R^n\;,\;y_i\in\{+1,-1\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈χ∈Rn,yi​∈{+1,−1}

线性可分: $$\begin{array}{rl}& y_i(\omega \cdot x_i+b)\ge 1(1)\\ & y_i(\omega \cdot x_i+b)+{\xi }_i\ge 1,{\xi }_i=(0,1)(2)\\ & y_i(\omega \cdot x_i+b)+{\xi }_i\ge 1,{\xi }_i>1(3)\end{array}$$

对于$(1)$表示函数间隔$\ge 1$；对于$(2)$表示位于间隔内；对于$(3)$表示位于间隔外（异）。

上述的分类比较有弹性，所以称为软间隔:
$$y_i(\omega \cdot x_i+b)+{\xi }_i\ge 1$$

${\xi }_i$叫做弹性因子，也叫松弛变量。

目标函数: $$\frac{1}{2}||\omega |{|}^2+c\sum _{i=1}^N{\xi }_i$$

上式中，$c$表示松弛变量起作用的大小，又叫做惩罚系数。

当$c$较大时，对误分类惩罚大；当$c$较小时，取决于第一部分$\frac{1}{2}||\omega |{|}^2$，对误分类惩罚小。

此时我们的优化问题为: $$\begin{array}{rl}& \underset{\omega ,b,{\xi }_i}{\min }\frac{1}{2}||\omega |{|}^2+c\sum _{i=1}^N{\xi }_i\\ & s.t.y_i(\omega \cdot x_i+b)+{\xi }_i\ge 1,{\xi }_i\ge 0,,i=1,2,\cdots ,N\end{array}$$

我们接下来的目的是解${\omega }^{\ast },b^{\ast }$。

线性支持向量机的对偶问题:

我们的原始问题如下所示: $$\begin{array}{rl}& \frac{1}{2}||\omega |{|}^2+c\sum _{i=1}^N{\xi }_i\\ & s.t.1-{\xi }_i-y_i(\omega \cdot x_i+b)\le 0,-{\xi }_i\le 0,i=1,2,\cdots ,N\end{array}$$

得到广义拉格朗日函数为: $$\begin{array}{r}L(\omega ,b,{\xi }_i,\alpha ,\mu )=\frac{1}{2}||\omega |{|}^2+c\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i[(1-{\xi }_i-y_i(\omega \cdot x_i+b))]-\sum _{i=1}^N{\mu }_i{\xi }_i\end{array}$$

原始问题: $$\underset{\omega ,b,{\xi }_i}{\min }\underset{\alpha ,\mu }{\max }L$$

对偶问题: $$\underset{\alpha ,\mu }{\max }\underset{\omega ,b,{\xi }_i}{\min }L$$

（1）内部极小化${\theta }_D(\alpha ,\mu )$ $$\begin{array}{rl}& \frac{\partial L}{\partial \omega }=\omega -\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & \frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & \frac{\partial L}{\partial {\xi }_i}=c-{\alpha }_i-{\mu }_i=0,,i=1,2,\cdots ,N\\ \Rightarrow & \{\begin{array}{rl}& \omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & c-{\alpha }_i-{\mu }_i=0,i=1,2,\cdots ,N\end{array}\end{array}$$

代入计算: $$\begin{array}{rl}L& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N(c-{\alpha }_i-{\mu }_i){\xi }_i+\sum _{i=1}^N{\alpha }_i\\ & -\sum _{i=1}^N{\alpha }_i{y}_i\sum _{j=1}^N{\alpha }_j{y}_j(x_j\cdot x_i)-\sum _{i=1}^N{\alpha }_i{y}_{i}b\\ & =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N-\sum _{i=1}^N{\alpha }_i{y}_i\sum _{j=1}^N{\alpha }_j{y}_j(x_j\cdot x_i)\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ & ={\theta }_D(\alpha ,\mu )\end{array}$$

（2）外部极大化:$\max {\theta }_D(\alpha ,\mu )$

对偶算法: $$\begin{array}{rl}& \min \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le c,i=1,2,\cdots ,N\end{array}$$

其中，${\mu }_i=c-{\alpha }_i\ge 0\Rightarrow {\alpha }_i\le c$

我们继续: $$\begin{array}{rl}& {\omega }^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ \Rightarrow & {\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\end{array}$$

对KKT条件再次使用: $$\{\begin{array}{rl}& {\alpha }_i^{\ast }(1-{\xi }_i-y_i({\omega }^{\ast }\cdot x_i+b^{\ast }))=0\\ & -{\mu }_i^{\ast }{\xi }_i^{\ast }=0\\ & 1-{\xi }_i^{\ast }-y_i({\omega }^{\ast }\cdot x_i+b^{\ast })\le 0\\ & {\alpha }_i^{\ast }\ge 0\\ & -{\xi }_i^{\ast }\le 0\\ & {\mu }_i^{\ast }\ge 0\end{array}$$

我们知道，存在${\alpha }_i>0$，满足软间隔的条件。发生作用的是间隔边界上的。有${\xi }_i^{\ast }=0$，${\mu }_i^{\ast }>0$，$c-{\mu }_i^{\ast }-{\alpha }_i^{\ast }=0\Rightarrow {\alpha }_i^{\ast }<c$。

我们得到新的约束条件为: $$s.t.\{\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le c\\ & i=1,2,\cdots ,N\end{array}$$

我们计算$b^{\ast }$时曾用到$y_j$，实际上是间隔边界上的点，满足$\omega \cdot x+b=1$.

我们有: $$\begin{array}{rl}& y_j({\omega }^{\ast }\cdot x_j+b^{\ast }=1\\ \Rightarrow & {\omega }^{\ast }\cdot x_j+b^{\ast }=\frac{1}{y_j}=y_j\\ \Rightarrow & b^{\ast }=y_j-{\omega }^{\ast }\cdot x_j=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\end{array}$$

[线性支持向量机总结]

输入:训练集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中 x i ∈ R n    ,    y i ∈ { + 1 , − 1 } x_i\in R^n\;,\;y_i\in\{+1,-1\} xi​∈Rn,yi​∈{+1,−1}。

输出:分离超平面与分类决策函数

算法:

:给定惩罚参数$c>0$，构造优化问题 $$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\frac{1}{2}\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le c,i=1,2,\cdots ,N\end{array}$$

:求解最优化问题，得到最优解
$${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$$

:根据${\alpha }^{\ast }$进行计算
$${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

挑出符合$0<{\alpha }_i^{\ast }<c$的点$(x_j,y_j)$计算:
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

:得到最终结果

分离超平面: $${\omega }^{\ast }\cdot x+b^{\ast }=0$$

决策函数: $$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$$

我们最后提一下支持向量的定义:

11.合页损失函数

线性支持向量机学习还有另外一种解释，就是最小化以下目标函数：
$$\sum _{i=1}^N[1-y_i(\omega \cdot x_i+b){]}_{+}+\lambda ||\omega |{|}^2$$

第一项: $$L(y(\omega \cdot x+b))=[1-y(\omega \cdot x+b){]}_{+}$$
称为合页损失函数。 $$[z{]}_{+}=\{\begin{array}{rl}& z,z>0\\ & 0,z\le 0\end{array}$$

线性支持向量机原始最优化问题:
$$\underset{\omega ,b,\xi }{\min }\frac{1}{2}||\omega |{|}^2+c\sum _{i=1}^N{\xi }_i$$

$$s.t.\{\begin{array}{rl}& y_i(\omega \cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

等价于:
$$\underset{\omega ,b}{\min }\sum _{i=1}^N[1-y_i(\omega \cdot x_i+b){]}_{+}+\lambda ||\omega |{|}^2$$

我们的推导过程如下:

我们${\xi }_i=[1-y_i(\omega \cdot x_i+b){]}_{+}$，取合页，考虑距离大于0的情况。
$$\begin{array}{rl}& \underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2+c\sum _{i=1}^N[1-y_i(\omega \cdot x_i+b){]}_{+}\\ {\Rightarrow }^{c>0}& \underset{\omega ,b}{\min }\sum _{i=1}^N[1-y_i(\omega \cdot x_i+b){]}_{+}+\frac{1}{2c}||\omega |{|}^2\\ \Rightarrow & \underset{\omega ,b}{\min }\sum _{i=1}^N[1-y_i(\omega \cdot x_i+b){]}_{+}+\lambda ||\omega |{|}^2\end{array}$$

可以看到线性支持向量机损失函数作为感知机损失函数的一个上界，所以线性支持向量机可以找到那个唯一的超平面了。