SVM——（四）目标函数求解

在之前的两篇文章中[1][2]分别用两种方法介绍了如何求得目标优化函数，这篇文章就来介绍如何用拉格朗日对偶(Lagrange duality)问题以及SMO算法求解这一目标函数，最终得到参数。

本文主要分为如下部分：
1.构造广义拉格朗日函数$\mathcal{L}(w,b,\alpha )$
2.关于参数$w,b$,求$\mathcal{L}$的极小值$W(\alpha )$
3.使用SMO算法求$W(\alpha )$的极大值
4.求解参数$w,b$
其中2,3,4也是求解对偶问题的一般步骤。

1.构造广义拉格朗日函数$\mathcal{L}(w,b,\alpha )$

由上文可知SVM最终的优化目标为：

$$\begin{array}{l}{\min }_{\mathbf{\omega },b}\frac{1}{2}||\mathbf{\omega }|{|}^2\\ \\ \text{s. t.}{y}_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,...,m\end{array}\text{\hspace{1em}(1.1)}$$

由此我们可以得到广义的拉格朗日函数为：

$\mathbf{G}\mathbf{e}\mathbf{n}\mathbf{e}\mathbf{r}\mathbf{a}\mathbf{l}\mathbf{i}\mathbf{z}\mathbf{e}\mathbf{d}\mathbf{L}\mathbf{a}\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{n}\mathbf{g}\mathbf{i}\mathbf{a}\mathbf{n}$
$$\begin{array}{rl}& \mathcal{L}(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i[y^{(i)}(w^T{x}^{(i)}+b)-1]\\ & s.t.g_i(w)=-y^{(i)}(w^T{x}^{(i)}+b)+1\le 0\end{array}\text{\hspace{1em}(1.2)}$$

注：此处有两个参数$w,b$,一个拉格朗日乘子向量$\alpha$，且${\alpha }_i\ge 0$，因为只有这样才能满足$\frac{1}{2}||w|{|}^2=\max \mathcal{L}$；(详见此处)

由对偶性：
$$d^{\ast }=\underset{\alpha ,{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )=\underset{w,b}{\min }\underset{\alpha ,{\alpha }_i\ge 0}{\max }\mathcal{L}(\omega ,\alpha ,\beta )=p^{\ast }\text{\hspace{1em}(1.3)}$$
可知，对偶问题$d^{}$