SVM（二）对偶问题转化以及求解

上篇： SVM（支持向量机）（一）基本形式推导

凸优化

考虑如下优化问题：

应用拉格朗日乘子法：

定义拉格朗日对偶函数$\mathcal{G}$，这里 $inf$ 是上确界（集合的最小上界）。为什么不写成 $min$ ？因为 $\mathcal{G}$ 是非凸的，存在 $\alpha ，\beta$ 使其趋于无穷小，不存在一个最小值，通过 $inf$ 表达将这种情况包含。

下界性质

当$\alpha \ge 0$时，$\mathcal{G}$ 是优化目标$f$的下界，这也是构造拉格朗日对偶函数$\mathcal{G}$的意义。

拉格朗日对偶问题

解决该问题可以找到原问题的一个下界，相比于解决具有$(k+l)$个约束的问题，拉格朗日对偶问题仅有简单约束 $\alpha \ge 0$，求解难度大大降低。

那么是否存在两个问题等价的情形？或者它们的解十分相近。

$p^{\ast }$ 是原问题的最优解，$d^{\ast }$ 是对偶问题的最优解，首先满足弱对偶性：$d^{\ast }\le p^{\ast }$，而且通过最优对偶间隔 $p^{\ast }-d^{\ast }$ 描述它们的接近程度。

强对偶成立的条件

Slater‘’s Constraint Qualifications

互补松弛性（Complementary Slackness）

Proof：

KTT条件

强对偶成立 $p^{\ast }=d^{\ast }$ $⟹$ 以上几个性质，统称KTT条件。

$p^{\ast }=\mathcal{L}({\omega }^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=\mathcal{G}({\alpha }^{\ast },{\beta }^{\ast })=d^{\ast }$ ，

1. Stationarity：极值点处$\mathcal{G}$梯度为0；
2. Primal feasibility：基本约束条件；
3. Dual feasibility：满足该条件才能保证$\mathcal{G}$是$f$的下界，对偶转化才有意义；
4. Complementary slackness：强对偶成立的必要条件，$\alpha >0$时不等式$g_i({\omega }_i)$约束生效，极值点处取等。

SVM对偶问题转化

将上述凸优化方法应用至博客（一）我们推导出的 primal form 上，并通过 KTT 条件进行化简（SVM 中原问题和对偶问题是强对偶的关系）：

求解 The Solution

最后的 dual problem 为 QP 问题，可以用 SMO 算法求解。这里老师 PPT 直接说用求解器，可能 QP 问题是一个比较常见的优化问题。
而得到对偶问题的解，如何转化回原问题的解，还是通过 KTT 条件。

第一条是由互补松弛性质导出，${\alpha }^{\ast }g({\omega }^{\ast })=0$，而在SVM问题上 $g(\omega )=1-y^{(i)}({\omega }^T{x}^{(i)}+b)$.

下面标签 y ( i ) ∈ { − 1 , 1 } y^{(i)}\in\{-1,1\} y(i)∈{−1,1}，可以推得 $y^{(i)}$ 与 ${\omega }^T{x}^{(i)}+b$ 同时为 $+1$ 或者 $-1$，即两者相等。

support vector

在上篇博客提到

对于SVM来说去掉一些不在${\omega }^{T}x+b=\pm \gamma ||\omega ||$平面上的数据点并不影响模型，该平面称为支持平面，平面上的数据点称为支持向量（support vector）.更准确地说，sv确定了支持平面，sv的margin ${\gamma }^{(i)}$是约束$s.t.{\gamma }^{(i)}\ge \gamma$取等时的${\gamma }^{(i)}$，SVM（support vector machine）因此得名。为了简化表达，约定一组$({\omega }^T,b)$，使得支持平面变为${\omega }^{T}x+b=\pm 1$.

在经过一系列转化之后，这种对模型没有影响的数据点对应到对偶问题解中是大多数 ${\alpha }_i$ 均是0，而非0的 ${\alpha }_i$ 对应的则是 sv，因为根据互补松弛性，${\alpha }_i\ne 0$时对应不等式$g({\omega }_i)\le 0$生效，取等，可得 $y^{(i)}({\omega }^T{x}^{(i)}+b)=1$ ，即 sv 在支撑平面上，或者说参与构建了该平面。

从 support vector 出发重新定义 ${\omega }^{\ast }$：