凸优化学习（七）——SVM“1-范数”的软边界

最新推荐文章于 2023-03-24 15:57:30 发布

冬之晓东

最新推荐文章于 2023-03-24 15:57:30 发布

阅读量2k

点赞数 2

分类专栏：机器学习

机器学习专栏收录该内容

35 篇文章 10 订阅

订阅专栏

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸优化部分的内容进行翻译学习。

3 SVM $L_1$ 范数的软边界

为了看到一个更复杂的拉格朗日对偶例子，我们来推导以前课堂上给出的SVM $L_1$ 范数的软边界的原对偶问题，以及相应的KKT互补（即，互补松弛）条件。我们有：

$\begin{aligned} \min_{w,b,\xi} \quad & \frac 12 \parallel w\parallel^2+C\sum^m_{i=1}\xi_i \\ subject\quad to \quad& y^{(i)}(w^Tx^{(i)}+b) \geq1-\xi_i,\quad &i=1,...,m\\ & \xi_i \geq 0, &i=1,...,m \end{aligned}$

首先，我们使用“ $\le 0$ ”的不等式形式把它化成标准形式：

$\begin{aligned} \min_{w,b,\xi} \quad & \frac 12 \parallel w\parallel^2+C\sum^m_{i=1}\xi_i \\ subject\quad to \quad& 1-\xi_i-y^{(i)}(w^Tx^{(i)}+b) \le 0,\quad &i=1,...,m\\ & -\xi_i \le 0, &i=1,...,m \end{aligned}$

接下来，我们构造广义拉格朗日函数： $^7$

7 在这里，非常重要的一点是要注意到全体 $(w,b,\xi)$ 在“ $x$ ”原变量中占据的角色。类似的，要注意到全体 $(\alpha,\beta)$ 在“ $\alpha$ ”对偶变量中占据的角色，通常是用于不等式约束的。因为在本问题中并没有仿射不等式约束，因此在这里就没有“ $\beta$ ”对偶变量。

$\mathcal{L}(w,b,\xi,\alpha,\beta)=\frac 12 \parallel w\parallel^2+C\sum^m_{i=1}\xi_i+\sum^m_{i=1}\alpha_i(1-\xi_i-y^{(i)}(w^Tx^{(i)}+b))-\sum_{i=1}^m\beta_i\xi_i$

上式给出了原始和对偶优化问题：

$\begin{aligned} \max_{\alpha,\beta:\alpha_i\ge0,\beta_i\ge0}\theta_{\mathcal{D}}(\alpha,\beta) \qquad&其中\qquad\theta_{\mathcal{D}}(\alpha,\beta) := \min_{w,b,\xi}\mathcal{L}(w,b,\xi,\alpha,\beta),\quad&(SVM-D)\\ \min_{w,b,\xi}\theta_{\mathcal{P}}(w,b,\xi)\qquad&其中\qquad\theta_{\mathcal{P}}(w,b,\xi) := \max_{\alpha,\beta:\alpha_i\ge0,\beta_i\ge0}\mathcal{L}(w,b,\xi,\alpha,\beta),\quad&(SVM-P) \end{aligned}$

不过，要把对偶问题化成讲义中所示的形式，我们还有一些工作要做。特别是,

消去原始变量。 为了消除对偶问题中的原始变量，通过下面的式子计算 $\theta_{\mathcal{D}}(\alpha,\beta)$ ：

$\theta_{\mathcal{D}}(\alpha,\beta)=\min_{w,b,\xi}\quad \mathcal{L}(w,b,\xi,\alpha,\beta)$

上式是一个无约束优化问题，其中目标函数 $\mathcal{L}(w,b,\xi,\alpha,\beta)$ 是可微的。拉格朗日函数是关于 $w$ 的严格凸二次函数，到目前为止，对于任意给定的 $(\alpha,\beta)$ 来说，如果有 $(\hat{w},\hat{b},\hat{\xi})$ 使得拉格朗日函数最小化，必须满足下式：

$\nabla_w\mathcal{L}(\hat{w},\hat{b},\hat{\xi},\alpha,\beta) = \hat{w}-\sum_{i=1}^m\alpha_iy^{(i)}x^{(i)}=0\qquad\qquad(24)$

跟进一步来说，拉格朗日函数是关于 $b$ 和 $\xi$ 的线性函数。通过类似于前一节简单对偶例子中描述的推理。我们可以设置对 $b$ 和 $\xi$ 求导等于零，并将得到的条件作为显式约束添加到对偶优化问题中：

$\frac{\partial}{\partial_b}\mathcal{L}(\hat{w},\hat{b},\hat{\xi},\alpha,\beta)=-\sum_{i=1}^m\alpha_iy^{(i)}=0\qquad\qquad(25) \\ \frac{\partial}{\partial_{\xi_i}}\mathcal{L}(\hat{w},\hat{b},\hat{\xi},\alpha,\beta)=C-\alpha_i-\beta_i=0\qquad\qquad(26)$

我们可以用这些条件来计算对偶目标为：

$\begin{aligned} \theta_{\mathcal{D}}(\alpha,\beta) &= \mathcal{L}(\hat{w},\hat{b},\hat{\xi})\\ &= \frac 12 \parallel \hat{w}\parallel^2+C\sum^m_{i=1}\hat{\xi_i}+\sum^m_{i=1}\alpha_i(1-\hat{\xi}_i-y^{(i)}(\hat{w}^Tx^{(i)}+\hat{b}))-\sum_{i=1}^m\beta_i\hat{\xi_i} \\ &= \frac 12 \parallel \hat{w}\parallel^2+C\sum^m_{i=1}\hat{\xi_i}+\sum^m_{i=1}\alpha_i(1-\hat{\xi}_i-y^{(i)}(\hat{w}^Tx^{(i)}))-\sum_{i=1}^m\beta_i\hat{\xi_i} \\ &= \frac 12 \parallel \hat{w}\parallel^2 + \sum^m_{i=1}\alpha_i(1-y^{(i)}(\hat{w}^Tx^{(i)})) \end{aligned}$

其中第一个等式来自于给定 $(\alpha,\beta)$ 最优的 $(\hat{w},\hat{b},\hat{\xi})$ ，第二个等式使用广义拉格朗日函数的定义，第三个等式和第四个等式分别来自 $(25)$ 和 $(26)$ 。最后，使用 $(24)$ ，可得：

$\begin{aligned} \frac 12 \parallel \hat{w}\parallel^2 + \sum^m_{i=1}\alpha_i(1-y^{(i)}(\hat{w}^Tx^{(i)})) &= \sum^m_{i=1}\alpha_i + \frac 12 \parallel \hat{w}\parallel^2 - \hat{w}^T\sum^m_{i=1}\alpha_iy^{(i)}x^{(i)} \\ &= \sum^m_{i=1}\alpha_i + \frac 12 \parallel \hat{w}\parallel^2 - \parallel \hat{w}\parallel^2 \\ &= \sum^m_{i=1}\alpha_i - \frac 12 \parallel \hat{w}\parallel^2 \\ &= \sum^m_{i=1}\alpha_i - \frac 12\sum^m_{i=1}\sum^m_{j=1}\alpha_i\alpha_iy^{(i)}y^{(j)}<x^{(i)},x^{(j)}> \end{aligned}$

因此，我们的对偶问题（因为没有更多原始变量和所有的显式约束）就很简单了：

$\begin{aligned} \min_{\alpha,\beta} \quad & \sum^m_{i=1}\alpha_i - \frac 12\sum^m_{i=1}\sum^m_{j=1}\alpha_i\alpha_iy^{(i)}y^{(j)}<x^{(i)},x^{(j)}> \\ subject\quad to \quad&\alpha_i \geq 0,\quad &i=1,...,m\\ & \beta_i \geq 0, &i=1,...,m \\ & \alpha_i + \beta_i = C, &i=1,...,m \\ &\sum^m_{i=1}\alpha_iy^{(i)}=0 \end{aligned}$

KKT互补性。 KKT互补要求对任何原始最优解 $(w^*,b^*,\xi^*)$ 和对偶最优解 $(\alpha^*,\beta^*)$ 都满足：

$\begin{aligned} \alpha_i^*(1-\xi_i^*-y^{(i)}(w^{*T}x^{(i)}+b^*)) &= 0 \\ \beta_i^*\xi_i^* &= 0 \end{aligned}$

对于 $1,\dots,m$ 。根据第一个条件我们可以得出如果 $\alpha_i^*>0$ 那么为了使乘积为零，则 $1-\xi_i^*-y^{(i)}(w^{*T}x^{(i)}+b^*)=0$ 。由此断定：

$y^{(i)}(w^{*T}x^{(i)}+b^*)\le 1$

根据原可行性有 $\xi^*\ge 0$ ，类似的，如果 $\beta_i^*>0$ ，则需要 $\xi_i^*=0$ 来确保互补性。根据原约束条件 $y^{(i)}(w^{*T}x^{(i)}+b^*)\ge 1-\xi_i$ ，可以得出：

$y^{(i)}(w^{*T}x^{(i)}+b^*)\ge 1$

最后，因为 $\beta_i^*>0$ 等价于 $\alpha_i^*<C$ （因为 $\alpha^* + \beta_i^* = C$ ），我们可以将KKT条件总结为如下式子：

$\alpha_i^*<C\quad\Rightarrow\quad y^{(i)}(w^{*T}x^{(i)}+b^*)\ge 1, \\ \alpha_i^*>0\quad\Rightarrow\quad y^{(i)}(w^{*T}x^{(i)}+b^*)\le 1$

或者等价的表示为：

$\alpha_i^*=0\quad\Rightarrow\quad y^{(i)}(w^{*T}x^{(i)}+b^*)\ge 1, \\ 0<\alpha_i^*<C\quad\Rightarrow\quad y^{(i)}(w^{*T}x^{(i)}+b^*)= 1, \\ \alpha_i^*=C\quad\Rightarrow\quad y^{(i)}(w^{*T}x^{(i)}+b^*)\le 1$

简化。 通过观察下面数学形式的每一对约束，我们可以稍微整理一下对偶问题：

$\beta_i\ge 0\qquad\qquad \alpha_i + \beta_i = C$

上面的式子等价于一个单约束 $\alpha_i\le C$ ；也就是说，如果我们相约解决下面的约束问题：

$\begin{aligned} \min_{\alpha,\beta} \quad & \sum^m_{i=1}\alpha_i - \frac 12\sum^m_{i=1}\sum^m_{j=1}\alpha_i\alpha_iy^{(i)}y^{(j)}<x^{(i)},x^{(j)}> \\ subject\quad to \quad&0\le\alpha_i \le C,\quad &i=1,...,m,\qquad\qquad(27)\\ &\sum^m_{i=1}\alpha_iy^{(i)}=0 \end{aligned}$

并且随后设置 $\beta_i=C-\alpha_i$ ，则 $(\alpha,\beta)$ 对于前面的对偶问题是最优的。最后一种形式实际上是课堂讲稿中给出的软边界SVM对偶形式。

4 后续研究方向

在许多实际任务中， $90\%$ 的挑战都涉及如何以凸优化的形式来改写优化问题。一旦找到了正确的形式，就可以使用软件包。因为许多已有的用于凸优化的软件包已经进行了很好的调优，以处理不同类型的优化问题。下面是一小部分可用的软件包：

商业包：CPLEX, MOSEK
基于matlab的包：CVX，优化工具箱(linprog, quadprog)， SeDuMi
支持向量机：LIBSVM SVM-light
机器学习：Weka (Java)

我们特别指出CVX作为一个易于使用的通用工具可以基于MATLAB求解凸优化问题，还有CVXOPT作为一个强大的基于Python库，其独立于MATLAB运行。 $^8$ 如果你对上诉列表中出现的其他包感兴趣的话，可以很容易的在web中搜索到。简而言之，如果你需要一个特定的凸优化算法，现有的软件包提供了一种快速的原型化方法来让你实现该算法，而无需你自己完整的完成凸优化的所有数值计算。