《SVM笔记系列之二》SVM的拉格朗日函数表示以及其对偶问题

前言

支持向量机的对偶问题比原问题容易解决，在符合KKT条件的情况下，其对偶问题和原问题的解相同，这里我们结合李航博士的《统计学习方法》一书和林轩田老师的《机器学习技法》中的内容，介绍下SVM的对偶问题。本人无专业的数学学习背景，只能直观上理解一些问题，请数学专业的朋友不吝赐教。 如有谬误，请联系指正。转载请注明出处。

$\nabla$ 联系方式：

e-mail: FesianXu@gmail.com

QQ: 973926198

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用

微信公众号：

---

SVM的原问题的拉格朗日乘数表示

我们在上一篇博文《SVM笔记系列1，SVM起源与目的》中，谈到了SVM的原问题，这里摘抄如下：
$$\begin{gathered} \underset{W,b}{\min }\frac{1}{2}||W|{|}^2 \\ s.t.1-y_i(W^T{x}_i+b)\le 0,i=1,\cdots ,N\text{\hspace{1em}(1.1)} \end{gathered}$$
其满足形式:
$$\begin{gathered} \underset{W,b}{\min }f(x) \\ s.t.c_i(x)\le 0,i=1,\cdots ,k \\ {h}_j(x)=0,j=1,\cdots ,l\text{\hspace{1em}(1.2)} \end{gathered}$$

假设原问题为${\theta }_P(x)$，并且其最优解为$p^{\ast }={\theta }_P(x^{\ast })$。
这是一个有约束的最优化问题，我们利用广义拉格朗日乘子法(具体移步《拉格朗日乘数法和KKT条件的直观解释》)，将其转换为无约束的形式：
$$L(W,b,\alpha )=\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i(W^T{x}_i+b)),{\alpha }_i\ge 0\text{\hspace{1em}(1.3)}$$
变形为：
$$L(W,b,\alpha )=\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b),{\alpha }_i\ge 0\text{\hspace{1em}(1.4)}$$
我们将会得到原问题的另一个表述为：
$$\begin{gathered} f(x)=\underset{\alpha }{\max }L(W,b,\alpha )= \\ \underset{\alpha }{\max }\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b),,{\alpha }_i\ge 0\text{\hspace{1em}(1.5)} \end{gathered}$$
$$\begin{gathered} {\theta }_P(x)=\underset{W,b}{\min }f(x)=\underset{W,b}{\min }\underset{\alpha }{\max }L(W,b,\alpha )= \\ \underset{W,b}{\min }\underset{\alpha }{\max }\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b),,{\alpha }_i\ge 0\text{\hspace{1em}(1.6)} \end{gathered}$$
这里我觉得有必要解释下为什么$f(x)$可以表述为${\max }_{\alpha }L(W,b,\alpha )$这种形式。
假设我们有一个样本点$x_i$是不满足原问题的约束条件$1-y_i(W^T{x}_i+b)\le 0$的，也就是说$1-y_i(W^T{x}_i+b)>0$，那么在${\max }_{\alpha }$这个环节就会使得${\alpha }_i\to +\infty$从而使得$L(W,b,\alpha )\to +\infty$。如果$x_i$是满足约束条件的，那么为了求得最大值，因为$1-y_i(W^T{x}_i+b)\le 0$而且${\alpha }_i\ge 0$，所以就会使得${\alpha }_i=0$。由此我们得知：
$$\underset{\alpha }{\max }L(W,b,\alpha )=\{\begin{array}{ll}\frac{1}{2}||W|{|}^2& 1-y_i(W^T{x}_i+b)\le 0满足约束条件\\ +\infty & 1-y_i(W^T{x}_i+b)>0不满足约束条件\end{array}\text{\hspace{1em}(1.7)}$$
因此在满足约束的情况下，
$$\underset{\alpha }{\max }L(W,b,\alpha )=\frac{1}{2}||W|{|}^2$$
不满足约束条件的样本点则因为无法对正无穷求最小值而自然抛弃。
这个时候，我们试图去解${\max }_{\alpha }L(W,b,\alpha )$中的${\max }_{\alpha }$我们会发现因为$L(W,b,\alpha )=\frac{1}{2}||W|{|}^2+{\sum }_{i=1}^N{\alpha }_i-{\sum }_{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b)$对于$\alpha$是线性的，非凸的¹，因此无法通过梯度的方法求得其最大值点，其最大值点应该处于可行域边界上，因此我们需要得到SVM的对偶问题进行求解。
至此，我们得到了原问题的最小最大表述：
$$\begin{gathered} {\theta }_P(x)=\underset{W,b}{\min }\underset{\alpha }{\max }L(W,b,\alpha )= \\ \underset{W,b}{\min }\underset{\alpha }{\max }\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b),{\alpha }_i\ge 0,i=1,\cdots ,N\text{\hspace{1em}(1.8)} \end{gathered}$$

---

SVM的对偶问题

从上面的讨论中，我们得知了SVM的原问题的最小最大表达形式为：
$$\begin{gathered} {\theta }_P(x)=\underset{W,b}{\min }\underset{\alpha }{\max }L(W,b,\alpha )= \\ \underset{W,b}{\min }\underset{\alpha }{\max }\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b),{\alpha }_i\ge 0,i=1,\cdots ,N\text{\hspace{1em}(2.1)} \end{gathered}$$
设SVM的对偶问题为${\theta }_D(\alpha )$，其最优解为$d^{\ast }={\theta }_D({\alpha }^{\ast })$，可知道其为：
$$\begin{gathered} g(x)=\underset{W,b}{\min }L(W,b,\alpha )= \\ \underset{W,b}{\min }\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b)\text{\hspace{1em}(2.2)} \end{gathered}$$
$$\begin{gathered} {\theta }_D(\alpha )=\underset{\alpha }{\max }g(x)=\underset{\alpha }{\max }\underset{W,b}{\min }L(W,b,\alpha )= \\ \underset{\alpha }{\max }\underset{W,b}{\min }\frac{1}{2}||W|{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b)\text{\hspace{1em}(2.3)} \end{gathered}$$
此时，我们得到了对偶问题的最大最小表述，同样的，我们试图去求解${\theta }_D(\alpha )$中的${\min }_{W,b}$，我们会发现由于$L(W,b,\alpha )=\frac{1}{2}||W|{|}^2+{\sum }_{i=1}^N{\alpha }_i-{\sum }_{i=1}^N{\alpha }_i{y}_i(W^T{x}_i+b)$对于$W$来说是凸函数，因此可以通过梯度的方法求得其最小值点（即是其极小值点）。

求解${\min }_{W,b}L(W,b,\alpha )$，因为$L(W,b,\alpha )$是凸函数，我们对采用求梯度的方法求解其最小值（也是KKT条件中的，${\nabla }_{W}L(W,b,\alpha )=0$和${\nabla }_{b}L(W,b,\alpha )=0$）：
$$\frac{\partial L}{\partial W}=W-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0,i=1,\cdots ,N\text{\hspace{1em}(2.4)}$$
$$\frac{\partial L}{\partial b}=\sum _{i=1}^N{\alpha }_i{y}_i=0,i=1,\cdots ,N\text{\hspace{1em}(2.5)}$$
得出：
$$W=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,\cdots ,N\text{\hspace{1em}(2.6)}$$
将其代入$g(x)$，注意到${\sum }_{i=1}^N{\alpha }_i{y}_i=0$,得：
$$\begin{gathered} g(x)=\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\sum _{j=1}^N{a}_j{y}_j{x}_j+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)= \\ -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$
整理为:
$$\begin{gathered} \underset{\alpha }{\max }g(x)=\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,\cdots ,N\text{\hspace{1em}(2.7)} \end{gathered}$$

等价为求最小问题:
$$\begin{gathered} \underset{\alpha }{\min }g(x)=\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,\cdots ,N\text{\hspace{1em}(2.8)} \end{gathered}$$

根据Karush–Kuhn–Tucker(KKT)条件²,我们有：
$${\nabla }_{W}L(W^{\ast },b^{\ast },{\alpha }^{\ast })=W^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0⟹W^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(2.9)}$$
$${\nabla }_{b}L(W^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\text{\hspace{1em}(2.10)}$$
$${\alpha }_i^{\ast }(1-y_i(W^{\ast }{x}_i+b^{\ast }))=0\text{\hspace{1em}(2.11)}$$
$$1-y_i(W^{\ast }{x}_i+b^{\ast })\le 0\text{\hspace{1em}(2.12)}$$
$${\alpha }_i^{\ast }\ge 0\text{\hspace{1em}(2.13)}$$
前两个式子我们已经在求极值的时候利用了，得知:
$$W^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(2.14)}$$
并且其中至少有一个${\alpha }_j^{\ast }>0$，对此$j$有，$y_j(W^{\ast }{x}_j+b^{\ast })-1=0$
代入刚才的$W^{\ast }$，我们有
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(2.15)}$$
所以决策超平面为：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast }=0\text{\hspace{1em}(2.16)}$$
分类超平面为：
$$\theta (x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast })\text{\hspace{1em}(2.17)}$$
其中，我们可以观察到超平面只是依赖于${\alpha }_i^{\ast }>0$的样本点$x_i$，而其他样本点对其没有影响，所以这些样本是对决策超平面起着决定性作用的，因此我们将${\alpha }_i^{\ast }>0$对应的样本点集合$x_i$称为支持向量。同时，我们可以这样理解当${\alpha }_i^{\ast }>0$时，我们有$1-y_i(W^{\ast }{x}_i+b)=0$，这个恰恰是表明了支持向量的函数间隔都是1，恰好和我们之前的设定一致。

至此，我们得到了硬间隔线性支持向量机的数学表述形式，所谓硬间隔线性支持向量机，就是满足我之前的假设

两类样本是线性可分的，总是存在一个超平面$W^{T}x+b$可以将其完美分割开。

但是，在现实生活中的数据往往是或本身就是非线性可分但是近似线性可分的，或是线性可分但是具有噪声的，以上两种情况都会导致在现实应用中，硬间隔线性支持向量机变得不再实用，因此我们将会在后续讨论用以解决近似线性可分的软间隔线性支持向量机和基于kernel的支持向量机，后者可以解决非线性可分的问题。下图表示了硬间隔线性支持向量机和软间隔支持向量机之间的区别。

在下一篇中，我们紧接着现在的内容，介绍序列最小最优化算法（Sequential Minimal Optimization,SMO），用于求解${\theta }_D(x)$，得到${\alpha }_i^{\ast }$以便于得到超平面的$W^{\ast }$和$b$。我们将在其他文章中介绍软间隔线性支持向量机，广义拉格朗日乘数法，KKT条件和基于kernel的支持向量机。

这里我们要记住我们需要最优化的目的式子，我们以后将会反复提到这个式子。
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,\cdots ,N$$

---

1. 易证明。参考wikipedia的凸函数定义。 ↩︎

2. 事实上，如果${\theta }_D(x)$的$L(W,b,\alpha )$满足KKT条件，那么在SVM这个问题中，$W^{\ast }$和$b^{\ast }$和${\alpha }_i^{\ast }$同时是原问题和对偶问题的解的充分必要条件是满足KKT条件，具体见《统计学习方法》附录和《拉格朗日乘数法和KKT条件的直观解释》。 ↩︎