支持向量机之一：约束优化问题、硬间隔SVM

约束优化问题

带约束的优化问题可以描述为以下形式
$$\begin{array}{rlr}\underset{x}{\min }& f(x)& \\ s.t.& \forall i,g_i(x)\le 0,& \\ & \forall j,h_j(x)=0& \end{array}\text{\hspace{1em}(1.1)}$$

称 $f(x)$ 为目标函数，$g_i(x)$ 为不等式约束，$h_j(x)$ 为等式约束。

若目标函数为二次函数，约束全为线性函数，称为二次规划。

若 $f(x)$ 为凸函数，$g_i(x)$ 为凸函数，$h_j(x)$ 为仿射函数，则该问题称为凸优化。注意这里不等式约束 $g_i(x)\le 0$ 则要求 $g_i(x)$ 为凸函数，若 $g_i(x)\ge 0$ 则要求为凹函数。对于凸优化问题，全局有唯一的极小值点。

构造拉格朗日函数：
$$L(x,\lambda ,\mu )=f(x)+\sum _i{\lambda }_i{g}_i(x)+\sum _j{\mu }_j{h}_j(x)\text{\hspace{1em}(1.2)}$$
原问题等价于：
$$\begin{array}{rl}\underset{x}{\min }& \underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu )\\ s.t.& {\lambda }_i\ge 0\end{array}\text{\hspace{1em}(1.3)}$$
简单理解：如果某个条件不满足，一定可以调整相应的 $\lambda /\mu$ 使得函数值任意大，从而不可能成为最优解；如果所有条件都满足，那么后面两个求和号里的东西都为 0，拉格朗日函数就等于原函数。

这样，我们就把关于 $x$ 的限制给去除掉了。

对于约束优化问题，最优解 $x^{\ast }$ 需要满足 KKT 条件:
$$\{\begin{array}{c}{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0\\ {\lambda }_i^{\ast }\ge 0\\ {\lambda }_i{g}_i(x^{\ast })=0\\ g_i(x^{\ast })\le 0\\ h_j=0\end{array}\text{\hspace{1em}(1.4)}$$
对于凸优化问题，这个条件是充要的。

直观解释是：对于某条不等式约束 $i$，要么 ${\lambda }_i=0$ ，表示该限制无用；要么 ${\lambda }_i>0$，此时有 $g_i(x^{\ast })=0$，即最优解在边界上，同时 $f(x)$ 负梯度方向一定与 $g(x)$ 梯度方向相同，即 ${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0$ （否则可以沿着 $g_i(x)=0$ 上的某个方向移动使得函数值减小）。梯度为零也意味着最优解处 $f(x)$ 的梯度方向一定与 $h_j(x)=0$ 的法线方向共线。

几何理解见 拉格朗日乘子法和KKT条件 - PilgrimHui - 博客园 (cnblogs.com)

对偶问题

以式 $(1.3)$ 为例，它的对偶问题为
$$\begin{array}{rl}\underset{\lambda ,\mu }{\max }& \underset{x}{\min }L(x,\lambda ,\mu )\\ s.t.& {\lambda }_i\ge 0\end{array}\text{\hspace{1em}(2.1)}$$

可以发现，原问题是关于 $x$ 的函数，对偶问题是关于 $\lambda ,\mu$ 的函数。

对偶问题和原问题有什么关系？首先有弱对偶性，简单来说就是 $\max \min \le \min \max$。

证明：任给 $x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$，显然有 ${\min }_{x}L(x,{\lambda }^{\ast },{\mu }^{\ast })\le L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\le {\max }_{\lambda ,\mu }L(x^{\ast },\lambda ,\mu )$，故第一项的最大值也小于等于第三项的最小值，得证。容易发现，弱对偶性总是成立的。

但我们想要的是强对偶性，即 $\max \min =\min \max$，这样就可以把原问题转化为对偶问题进行求解。

给出 Slater 条件
$$\begin{gathered} \exists x\in \text{relint}D \\ s.t.\forall i,g_i(x)<0\text{\hspace{1em}(2.2)} \end{gathered}$$

其中 relint 表示内点。凸优化 + Slater 条件是对偶关系的充分不必要条件。还有放松的 Slater 条件：只需要校验限制中的非仿射函数。

强对偶关系也可以推导出 KKT 条件，前提是原问题、对偶问题最优解都能取到（一个不能取到的例子是 $\min 1/x,s.t.x\ge 1$），下面给出证明：

记原问题最优值为 $p^{\ast }$，对偶问题最优值为 $d^{\ast }$，有
$$\begin{array}{rl}{d}^{\ast }& =\underset{\lambda ,\mu }{\max }\underset{x}{\min }L(x,\lambda ,\mu )\\ & =\underset{x}{\min }L(x,{\lambda }^{\ast },{\mu }^{\ast })\\ & \le L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\\ & =f(x^{\ast })+\sum _i{\lambda }_i{g}_i(x^{\ast })+\sum _j{\mu }_j{h}_j(x^{\ast })\\ & =f(x^{\ast })+\sum _i{\lambda }_i{g}_i(x^{\ast })\\ & \le f(x^{\ast })\\ & =p^{\ast }\end{array}\text{\hspace{1em}(2.3)}$$
要满足强对偶关系，当且仅当两个不等号同时取等。第一个不等号取等推出偏导为零 ${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0$，第二个不等号取等推出松弛互补条件 ${\lambda }_i{g}_i=0$。KKT 条件的其他三条就是原本或我们引入的限制。

对于强对偶性和 KKT 条件的要求和关系，详见 KKT条件在使用的时候有什么要求吗？是否要求强对偶 - 知乎

对偶关系集合解释详见 机器学习-支持向量机6-约束优化问题-对偶关系的几何解释_哔哩哔哩_bilibili

硬间隔SVM

对于线性可分的 n 个样本点 $(x_i,y_i)$，$x_i$ 为坐标，$y_i$ 为标签（1 或 -1）。要找到一个超平面 $w^{T}x+b=0$ 区分两类数据，并且使该超平面到数据点集的最小距离最大，即要求：

$$\begin{array}{rl}\underset{w,b}{\max }& \underset{i}{\min }\frac{|w^T{x}_i+b|}{\Vert w\Vert }\\ s.t.& y_i(w^T{x}_i+b)>0\end{array}\text{\hspace{1em}(3.1)}$$
如果 $w,b$ 对应的超平面能够正确分类，那么同时将他们缩放一定倍数一定能够使得 $\min y_i(w^T{x}_i+b)=1$ 成立。因此原问题也等价于
$$\begin{array}{rl}\underset{w,b}{\max }& \underset{i}{\min }\frac{|w^T{x}_i+b|}{\Vert w\Vert }\\ s.t.& \min y_i(w^T{x}_i+b)=1\end{array}\text{\hspace{1em}(3.2)}$$
化简一下目标
$$\underset{w,b}{\max }\underset{i}{\min }\frac{|w^T{x}_i+b|}{\Vert w\Vert }⟺\underset{w,b}{\max }\frac{1}{\Vert w\Vert }\underset{i}{\min }{y}_i(w^T{x}_i+b)⟺\underset{w,b}{\max }\frac{1}{\Vert w\Vert }⟺\underset{w,b}{\min }\frac{1}{2}{w}^{T}w\text{\hspace{1em}(3.3)}$$
因此原问题化为
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}{w}^{T}w\\ s.t.& \min y_i(w^T{x}_i+b)=1\end{array}\text{\hspace{1em}(3.4)}$$
其实可以再进一步
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}{w}^{T}w\\ s.t.& y_i(w^T{x}_i+b)\ge 1\end{array}\text{\hspace{1em}(3.5)}$$
解释一下这一步等价的原因。如果求得解 $\min y_i(w^T{x}_i+b)=k>1$，那么有 $\min y_i((\frac{w}{k}{)}^T{x}_i+\frac{b}{k})=1$，且 $(\frac{w}{k}{)}^T(\frac{w}{k})<w^{T}w$。因此 $w,b$ 肯定不是最优解。故这一步是在我们最优化目标下才成立的。

得到 SVM 的基本型：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}{w}^{T}w\\ s.t.& 1-y_i(w^T{x}_i+b)\le 0\end{array}\text{\hspace{1em}(3.6)}$$

模型求解

式 $(3.6)$ 是一个凸优化问题，其实可以直接求解。但我们有更高效的方法。

既然这是带约束的问题，首先写出拉格朗日函数
$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _i{\lambda }_i(1-y_i(w^T{x}_i+b)) \\ \text{\hspace{1em}(4.1)} \end{gathered}$$

将其转化为对 $w,b$ 无约束的问题
$$\begin{array}{rl}\underset{w,b}{\min }& \underset{\lambda }{\max }L(w,b,\lambda )\\ s.t.& {\lambda }_i\ge 0\end{array}\text{\hspace{1em}(4.2)}$$

对偶问题为
$$\begin{array}{rl}\underset{\lambda }{\max }& \underset{w,b}{\min }L(w,b,\lambda )\\ s.t.& {\lambda }_i\ge 0\end{array}\text{\hspace{1em}(4.3)}$$

我们要优化的目标是个凸函数，约束是线性的（满足放松的 Slater 条件），满足强对偶。

转化为对偶问题的好处是，内层对 $w,b$ 是无限制的，可以求偏导来找到最优解。
$$\frac{\partial L}{\partial b}\triangleq 0\Rightarrow \sum _i{\lambda }_i{y}_i=0\text{\hspace{1em}(4.4)}$$
代入 $(4.1)$
$$L(w,b^{\ast },\lambda )=\frac{1}{2}{w}^{T}w+\sum _i{\lambda }_i-\sum _i{\lambda }_i{y}_i{w}^T{x}_i\text{\hspace{1em}(4.5)}$$

对 $w$ 求偏导
$$\frac{\partial L}{\partial w}=w-\sum _i{\lambda }_i{y}_i{x}_i\triangleq 0\Rightarrow w^{\ast }=\sum _i{\lambda }_i{y}_i{x}_i\text{\hspace{1em}(4.6)}$$

再代入 $(4.5)$
$$\begin{array}{rl}L(w^{\ast },b^{\ast },\lambda )& =\frac{1}{2}\left(\sum _i{\lambda }_i{y}_i{x}_i{)}^T\right(\sum _i{\lambda }_i{y}_i{x}_i)+\sum _i{\lambda }_i-\sum _i{\lambda }_i{y}_i(\sum _j{\lambda }_j{y}_j{x}_j{)}^T{x}_i\\ & =-\frac{1}{2}\sum _i\sum _j{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _i{\lambda }_i\end{array}\text{\hspace{1em}(4.7)}$$
最终可以化为
$$\begin{array}{rl}\underset{\lambda }{\min }& \frac{1}{2}\sum _i\sum _j{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _i{\lambda }_i\\ s.t.& \sum _i{\lambda }_i{y}_i=0,\\ & {\lambda }_i\ge 0\end{array}\text{\hspace{1em}(4.8)}$$

求解这个问题得到 $\lambda$，就可以带入式 $(4.6)$ 得到 $w^{\ast }$。

上面提到的，满足强对偶性的问题最优解满足 KKT 条件，即
$${\lambda }_i^{\ast }(1-y_i((w^{\ast }{)}^T{x}_i+b^{\ast }))=0\text{\hspace{1em}(4.9)}$$
若 ${\lambda }_i^{\ast }=0$，该样本无关紧要；若 ${\lambda }_i^{\ast }>0$，有 $y_i((w^{\ast }{)}^T{x}_i+b^{\ast })=1$，即该样本点在最大间隔边界上，称其为支持向量。这就是支持向量机名字的由来。一般情况下，我们得到的模型和大部分不在边界的点是没有关系的，因此鲁棒性较强。

设有支持向量 $(x_k,y_k)$ 满足 $y_k((w^{\ast }{)}^T{x}_k+b^{\ast })=1$，即
$$b^{\ast }=y_k-(w^{\ast }{)}^T{x}_k\text{\hspace{1em}(4.10)}$$
这样也能求出 $b^{\ast }$，也就找到了最优超平面。

最后一个问题就是怎么求解 $\lambda$？通常使用序列最小优化算法（Sequential Minimal Optimization, SMO）。该算法不断执行如下两个步骤直至收敛：

• 选取一对需要更新的 ${\lambda }_i,{\lambda }_j$
• 固定其余参数，优化目标函数

发现这个过程很类似于坐标上升算法，即每次通过更新多元函数中的一维，经过多次迭代直到收敛。由于目标函数是凸的，SMO 得到的的一定是全局最优解。