硬间隔支持向量机(下)

1. 支持向量机

1.1 支持向量机模型

        给定一个线性可分数据集 D = { ( x i ， y i ) ∣ x i ∈ R n ， y i ∈ { − 1 ， 1 } } \mathcal{D}=\{(x_i，y_i)|x_i \in \mathcal{R^n}， y_i \in \{-1，1\}\} D={(xi​，yi​)∣xi​∈Rn，yi​∈{−1，1}}，一个法向量 $\vec{w}$ 和偏置 $b$ ，则记 $M$ 为示例的最小几何间隔。
$$M=\underset{i=1,\dots ,m}{\min }{\gamma }_i=\underset{i=1,\dots ,m}{\min }{y}_i(\frac{{\vec{w}}^T}{||\vec{w}||}\overrightarrow{x_i}+\frac{b}{||\vec{w}||})\text{\hspace{1em}(1-5)}$$
通过公式 1-2 可知，SVM 优化问题可以写成下面形式：
$$\begin{gathered} \underset{\vec{w},b}{\max }M \\ s.t.{\gamma }_i\ge M，i=1,\cdots ,m\text{\hspace{1em}(1-6)} \end{gathered}$$
这个约束条件保证了每个样本点的几何间隔只少为 $M$，即数据集 $\mathcal{D}$ 是线性可分的，具体来说：

1. 正样本($y_i=1$)：对于正样本，这个条件就变为 ${\vec{w}}^T\overrightarrow{x_i}+b\ge M||\vec{w}||$。这确保了正样本在超平面的正侧，并且距离超平面至少为 $M$。
2. 负样本($y_i=-1$)：对于负样本，这个条件就变为 ${\vec{w}}^T\overrightarrow{x_i}+b\le -M||\vec{w}||$。这确保了负样本在超平面负侧，并且距离超平面至少为 $M$。

        根据比率不变性，我们可以令 $M||\vec{w}||=1$，原优化问题的约束条件依然不变(数据线性可分)，简化后的方程如下：
$$\begin{gathered} \underset{\vec{w},b}{\max }\frac{1}{||\vec{w}||} \\ s.t.y_i({\vec{w}}^T\overrightarrow{x_i}+b)\ge 1，i=1,\cdots ,m \end{gathered}$$
在运筹学中，一般将最大值优化问题转化最小值优化问题，即
$$\begin{gathered} \underset{\vec{w},b}{\min }\frac{1}{2}||\vec{w}|{|}^2 \\ s.t.1-y_i({\vec{w}}^T\overrightarrow{x_i}+b)\le 0，i=1,\cdots ,m\text{\hspace{1em}(1-7)} \end{gathered}$$
其中，目标函数乘以 $\frac{1}{2}$ 为了简化优化过程。很显然，该优化为凸优化问题，更具体，它是一个二次优化问题 - 目标函数是二次函数，约束条件是线性函数。这个优化问题可以使用现成的二次规划(Quadratic Programming，QP)优化器进行求解。

1. 2 模型求解

1.2.1 原问题转换为Lagrange对偶问题

第一步： 固定 $\lambda$，让 $\mathcal{L}$ 关于 $\vec{w}$ 和 $b$ 最小化。
        构建Lagrange函数：
L = 1 2 ∣ ∣ w ⃗ ∣ ∣ 2 + ∑ i = 1 m λ i { 1 − y i ( w ⃗ T x i ⃗ + b ) } (1-8) \mathscr{L}=\frac{1}{2}||\vec{w}||^2 + \sum_{i=1}^{m}\lambda_i\{1 - y_i(\vec{w}^T\vec{x_i} + b)\} \tag{1-8} L=21​∣∣w ∣∣2+i=1∑m​λi​{1−yi​(w Txi​ ​+b)}(1-8)
解：
L = 1 2 w ⃗ T w ⃗ + ∑ i = 1 m λ i { 1 − y i ( w ⃗ T x i ⃗ + b ) } = 1 2 w ⃗ T w ⃗ + ∑ i = 1 m λ i − ∑ i = 1 m λ i y i w ⃗ T x i ⃗ − ∑ i = 1 m λ i y i b \begin{align*} \mathscr{L}&=\frac{1}{2}\vec{w}^T\vec{w} + \sum_{i=1}^{m}\lambda_i\{1 - y_i(\vec{w}^T\vec{x_i} + b)\} \\ &= \frac{1}{2}\vec{w}^T\vec{w} + \sum_{i=1}^{m}\lambda_i - \sum_{i=1}^{m}\lambda_iy_i\vec{w}^T\vec{x_i} - \sum_{i=1}^{m}\lambda_iy_ib \end{align*} L​=21​w Tw +i=1∑m​λi​{1−yi​(w Txi​ ​+b)}=21​w Tw +i=1∑m​λi​−i=1∑m​λi​yi​w Txi​ ​−i=1∑m​λi​yi​b​
对 $\vec{w}，b$求偏导，并令其等于0，可得
$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial \vec{w}}=\vec{w}-\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}=0 \\ \frac{\partial \mathcal{L}}{\partial b}=\sum _{i=1}^m{\lambda }_i{y}_i=0 \end{gathered}$$
则
$$\begin{gathered} \vec{w}=\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i} \\ \sum _{i=1}^m{\lambda }_i{y}_i=0 \end{gathered}$$
将以上结果代回式(1-8)，可得
$$\begin{array}{rl}\mathcal{L}& =\frac{1}{2}{\vec{w}}^T\vec{w}+\sum _{i=1}^m{\lambda }_i-\sum _{i=1}^m{\lambda }_i{y}_i{\vec{w}}^T\overrightarrow{x_i}-\sum _{i=1}^m{\lambda }_i{y}_{i}b\\ & =\frac{1}{2}{\vec{w}}^T\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}-{\vec{w}}^T\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}+\sum _{i=1}^m{\lambda }_i\\ & =\sum _{i=1}^m{\lambda }_i-\frac{1}{2}{\vec{w}}^T\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}\\ & =\sum _{i=1}^m{\lambda }_i-\frac{1}{2}(\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}{)}^T\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}\\ & =\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1，j=1}^m{\lambda }_i{\lambda }_j{y}_i{\overrightarrow{x_i}}^T{y}_j\overrightarrow{x_j}\end{array}\text{\hspace{1em}(1-9)}$$
从上式可以看出，使用Lagrange定理求解凸优化问题可以使用一个对偶变量表示，转换为对偶问题后，通常比原问题更加容易处理。

1.2.2 Lagrange对偶问题求解

第二步： 证明极大值存在，求对 $\lambda$ 的极大，即
$$\begin{gathered} \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{\lambda }_j{y}_i{\overrightarrow{x_i}}^T{y}_j\overrightarrow{x_j} \\ s.t.\{\begin{array}{l}{\lambda }_i\ge 0，i=1,\cdots ,m\\ {\sum }_{i=1}^m{\lambda }_i{y}_i=0\end{array} \end{gathered}$$
其矩阵形式为：
$$\begin{array}{rl}W(\lambda )& =\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\overrightarrow{x_i}}^T\overrightarrow{x_j}\\ & =\left[\begin{array}{c}1，1，\cdots ，1\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_m\end{array}\right]-\frac{1}{2}\left[\begin{array}{c}{\lambda }_1，{\lambda }_2，\cdots ，{\lambda }_m\end{array}\right]\left[\begin{array}{cccc}{y}_1{y}_1{\overrightarrow{x_1}}^T\overrightarrow{x_1}& y_1{y}_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}& \cdots & y_1{y}_m{\overrightarrow{x_1}}^T\overrightarrow{x_m}\\ y_2{y}_1{\overrightarrow{x_2}}^T\overrightarrow{x_1}& y_2{y}_2{\overrightarrow{x_2}}^T\overrightarrow{x_2}& \cdots & y_2{y}_m{\overrightarrow{x_2}}^T\overrightarrow{x_m}\\ ⋮& ⋮& \ddots & ⋮\\ y_m{y}_1{\overrightarrow{x_m}}^T\overrightarrow{x_m}& y_m{y}_2{\overrightarrow{x_m}}^T\overrightarrow{x_2}& \cdots & y_m{y}_m{\overrightarrow{x_m}}^T\overrightarrow{x_m}\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_m\end{array}\right]\end{array}$$
令 $\vec{\lambda }=\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_m\end{array}\right]$，$M=\left[\begin{array}{cccc}{y}_1{y}_1{\overrightarrow{x_1}}^T\overrightarrow{x_1}& y_1{y}_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}& \cdots & y_1{y}_m{\overrightarrow{x_1}}^T\overrightarrow{x_m}\\ y_2{y}_1{\overrightarrow{x_2}}^T\overrightarrow{x_1}& y_2{y}_2{\overrightarrow{x_2}}^T\overrightarrow{x_2}& \cdots & y_2{y}_m{\overrightarrow{x_2}}^T\overrightarrow{x_m}\\ ⋮& ⋮& \ddots & ⋮\\ y_m{y}_1{\overrightarrow{x_m}}^T\overrightarrow{x_m}& y_m{y}_2{\overrightarrow{x_m}}^T\overrightarrow{x_2}& \cdots & y_m{y}_m{\overrightarrow{x_m}}^T\overrightarrow{x_m}\end{array}\right]$则
$$W(\lambda )=\vec{\lambda }-\frac{1}{2}{\vec{\lambda }}^{T}M\vec{\lambda }$$
要证明$W(\lambda )$极大值存在，则要证明M负定。
（1）证明：
        令
$$H=\left[\begin{array}{cccc}{\overrightarrow{x_1}}^T\overrightarrow{x_1}& {\overrightarrow{x_1}}^T\overrightarrow{x_2}& \cdots & {\overrightarrow{x_1}}^T\overrightarrow{x_m}\\ {\overrightarrow{x_2}}^T\overrightarrow{x_1}& {\overrightarrow{x_2}}^T\overrightarrow{x_2}& \cdots & {\overrightarrow{x_2}}^T\overrightarrow{x_m}\\ ⋮& ⋮& \ddots & ⋮\\ {\overrightarrow{x_m}}^T\overrightarrow{x_m}& {\overrightarrow{x_m}}^T\overrightarrow{x_2}& \cdots & {\overrightarrow{x_m}}^T\overrightarrow{x_m}\end{array}\right]$$

则
$$W(\lambda )=\frac{1}{2}{\vec{\lambda }}^T{\vec{y}}^{T}H\vec{\lambda }\vec{y}-\vec{\lambda }$$
又因为 $H$ 是基于向量 $\overrightarrow{x_i}$ 的内积矩阵，也称为Gram矩阵，即 $H$ 为半正定矩阵，极小值存在。
（2）使用SMO求解极大值
        前面给出了支持向量机的对偶问题，接下来我们将使用顺序最小优化算法（Sequential Minimal Optimization，SMO）求解对偶问题。算法的核心思想是每次在优化变量中选择两个分量进行优化，让其他分量固定，针对这两个分量进行优化，且使它们满足KKT条件。每进行一次优化，优化参数越接近最优解，反复执行此步骤，直至所有变量满足KKT条件时，便可获得最优解。
        假设在某次优化过程中，选择的优化变量为 ${\lambda }_1，{\lambda }_2$，其他变量 ${\lambda }_3，{\lambda }_4，\cdots ，{\lambda }_m$ 设为常数，则最优化问题变为：
$$\begin{gathered} \underset{\lambda }{\min }W(\lambda )=\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{\lambda }_j{y}_i{\overrightarrow{x_i}}^T{y}_j\overrightarrow{x_j}-\sum _{i=1}^m{\lambda }_i \\ s.t.\{\begin{array}{l}{\lambda }_i\ge 0，i=1,2,\cdots ,m\\ {\sum }_{i=1}^m{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(1-10)} \end{gathered}$$
为了书写方便，我们将优化变量为 ${\lambda }_1，{\lambda }_2$ 从 ${\sum }_{i=1,j=1}^m{\lambda }_i{\lambda }_j{y}_i{\overrightarrow{x_i}}^T{y}_j\overrightarrow{x_j}$ 拆分出来，即
$$\begin{array}{rl}\sum _{i=1,j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\overrightarrow{x_i}}^T\overrightarrow{x_j}& =\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\overrightarrow{x_i}}^T\overrightarrow{x_j}\\ & ={\lambda }_1{y}_1\sum _{j=1}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j}+{\lambda }_2{y}_2\sum _{j=1}^m{\lambda }_j{y}_j{\overrightarrow{x_2}}^T\overrightarrow{x_j}+\sum _{i=3}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\overrightarrow{x_i}}^T\overrightarrow{x_j}\\ & =({\lambda }_1^2{y}_1^2{\overrightarrow{x_1}}^T\overrightarrow{x_1}+{\lambda }_1{\lambda }_2{y}_1{y}_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}+{\lambda }_1{y}_1\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j})+({\lambda }_1{\lambda }_2{y}_1{y}_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}+{\lambda }_2^2{y}_2^2{\overrightarrow{x_2}}^T\overrightarrow{x_2}+{\lambda }_2{y}_2\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_2}}^T\overrightarrow{x_j})+({\lambda }_1{y}_1\sum _{i=3}^m{\lambda }_i{y}_i{\overrightarrow{x_i}}^T\overrightarrow{x_1}+{\lambda }_2{y}_2\sum _{i=3}^m{\lambda }_i{y}_i{\overrightarrow{x_i}}^T\overrightarrow{x_2}+\sum _{i=3}^m\sum _{j=3}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\overrightarrow{x_i}}^T\overrightarrow{x_j})\end{array}$$
为了描述方便，我们去掉与 ${\lambda }_1，{\lambda }_2$无关的常数项，则上式可简化为：
$${\lambda }_1^2{y}_1^2{\overrightarrow{x_1}}^T\overrightarrow{x_1}+{\lambda }_2^2{y}_2^2{\overrightarrow{x_2}}^T\overrightarrow{x_2}+2{\lambda }_1{\lambda }_2{y}_1{y}_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}+2{\lambda }_1{y}_1\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j}++2{\lambda }_2{y}_2\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_2}}^T\overrightarrow{x_j}\text{\hspace{1em}(1-11)}$$
则对偶优化问题变为：
$$\begin{gathered} \underset{{\lambda }_1,{\lambda }_2}{\min }W({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{\overrightarrow{x_1}}^T\overrightarrow{x_1}+\frac{1}{2}{\lambda }_2^2{\overrightarrow{x_2}}^T\overrightarrow{x_2}+{\lambda }_1{\lambda }_2{y}_1{y}_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}+{\lambda }_1{y}_1\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j}++{\lambda }_2{y}_2\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_2}}^T\overrightarrow{x_j}-({\lambda }_1+{\lambda }_2) \\ s.t.\{\begin{array}{l}{\lambda }_i\ge 0，i=1,2,\cdots ,m\\ {\sum }_{i=1}^m{\lambda }_i{y}_i=0\end{array} \end{gathered}$$
根据约束条件 ${\sum }_{i=1}^m{\lambda }_i{y}_i=0$可推导出：
$${\lambda }_1{y}_1+{\lambda }_2{y}_2=-\sum _{i=3}^m{\lambda }_i{y}_i$$
又因为其他优化变量为常量，则上式可写为：
$${\lambda }_1{y}_1+{\lambda }_2{y}_2=\zeta \text{\hspace{1em}(1-12)}$$
通过式1-12可以看出， ${\lambda }_1，{\lambda }_2$位于一条直线上，由于 $y_i\in (1,-1)$，所以直线的斜率只能为$\pm 1$。由约束条件 $0\le {\lambda }_i\le C$可知， ${\lambda }_1，{\lambda }_2$在下图的直线上取值。
        对于以上优化问题，我们可以先忽略第一个约束条件 $0\le {\lambda }_i\le C$，利用Lagrange乘数法，作为Lagrange函数：
$$\mathcal{L}({\lambda }_1,{\lambda }_2,\alpha )=W({\lambda }_1,{\lambda }_2)+\alpha ({\lambda }_1{y}_1+{\lambda }_2{y}_2-\zeta )$$
求各偏导数，并令其为0，得：
$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial {\lambda }_1}={\lambda }_1{\overrightarrow{x_1}}^T\overrightarrow{x_1}+y_1{y}_2{\lambda }_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}+y_1\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j}-1+\alpha y_1=0 \\ \frac{\partial \mathcal{L}}{\partial {\lambda }_2}={\lambda }_2{\overrightarrow{x_2}}^T\overrightarrow{x_2}+y_1{y}_2{\lambda }_1{\overrightarrow{x_1}}^T\overrightarrow{x_2}+y_2\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j}-1+\alpha y_2=0 \end{gathered}$$
为了简化，令
$$\begin{gathered} v_1=\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j} \\ {v}_2=\sum _{j=3}^m{\lambda }_j{y}_j{\overrightarrow{x_1}}^T\overrightarrow{x_j} \end{gathered}$$
对上述1式乘以 $y_1$，上述2式乘以 $y_2$，可得
$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial {\lambda }_1}=y_1{\lambda }_1{\overrightarrow{x_1}}^T\overrightarrow{x_1}+y_2{\lambda }_2{\overrightarrow{x_1}}^T\overrightarrow{x_2}+v_1-y_1+\alpha =0 \\ \frac{\partial \mathcal{L}}{\partial {\lambda }_2}=y_2{\lambda }_2{\overrightarrow{x_2}}^T\overrightarrow{x_2}+y_1{\lambda }_1{\overrightarrow{x_1}}^T\overrightarrow{x_2}+v_2-y_2+\alpha =0 \end{gathered}$$
由上式可得
$$(v_1-y_1)-(v_2-y_2)+\zeta {\overrightarrow{x_1}}^T\overrightarrow{x_1}-\zeta {\overrightarrow{x_1}}^T\overrightarrow{x_2}=y_2{\lambda }_2({\overrightarrow{x_1}}^T\overrightarrow{x_1}+{\overrightarrow{x_2}}^T\overrightarrow{x_2}-2{\overrightarrow{x_1}}^T\overrightarrow{x_2})\text{\hspace{1em}(1-13)}$$
通过该式可以看出， 除${\lambda }_2$以外，其余都是常数，因此，${\lambda }_2$可以由该等式计算。由于该等式比较复杂，不便于描述，因此需要进一步整理，使得解得形式更加简洁。
        在优化过程中，当前 $\lambda$ 求得得超平面方程为：
$$g(\vec{x})=\sum _{i=1}^m{\lambda }_i{y}_i{\overrightarrow{x_i}}^T\vec{x}+b$$
设 $E(\overrightarrow{x_i})=g(\overrightarrow{x_i})-y_i，i=1,2$，${\lambda }_1^{old}，{\lambda }_2^{old}$为优化前得值，根据约束条件可得
$$y_1{\lambda }_1^{old}+y_2{\lambda }_2^{old}=\zeta \text{\hspace{1em}(1-14)}$$
观察 $v_1，v_2$ 形式，发现
$$v_1=g(\overrightarrow{x_1})-b-y_1{\lambda }_1^{old}{\overrightarrow{x_1}}^T\overrightarrow{x_1}-y_2{\lambda }_2^{old}{\overrightarrow{x_1}}^T\overrightarrow{x_2}\text{\hspace{1em}(1-15)}$$
$$v_2=g(\overrightarrow{x_2})-b-y_1{\lambda }_1^{old}{\overrightarrow{x_1}}^T\overrightarrow{x_2}-y_2{\lambda }_2^{old}{\overrightarrow{x_2}}^T\overrightarrow{x_2}\text{\hspace{1em}(1-16)}$$

将1-14~16代回1-13整理, 可得最终新的 ${\lambda }_2^{new,unc}$ 为：
$${\lambda }_2^{new,unc}={\lambda }_2^{old}+\frac{y_2(E(\overrightarrow{x_1})-E(\overrightarrow{x_2}))}{{\overrightarrow{x_1}}^T\overrightarrow{x_1}+{\overrightarrow{x_2}}^T\overrightarrow{x_2}-2{\overrightarrow{x_1}}^T\overrightarrow{x_2}}$$
通过第一个约束条件，可推导出：
$$L\le {\lambda }_2^{new}\le H$$
其中，$L,H$为直线与方形边界交点的 ${\lambda }_2$ 值。$L,H$可根据 ${\lambda }_1^{old},{\lambda }_2^{old}$ 进行计算。
        当 $y_1\ne y_2$ 时：
$$\begin{gathered} L=\max (0，{\lambda }_2^{old}-{\lambda }_1^{old}) \\ H=\min (C，{\lambda }_2^{old}-{\lambda }_1^{old}+C) \end{gathered}$$
        当 $y_1=y_2$ 时：
$$\begin{gathered} L=\max (0，{\lambda }_2^{old}+{\lambda }_1^{old}-C) \\ H=\min (C，{\lambda }_2^{old}+{\lambda }_1^{old}) \end{gathered}$$
通过对 ${\lambda }_2^{new,unc}$ 裁剪可得：
$${\lambda }_2^{new}=\{\begin{array}{l}L，{\lambda }_2^{new,unc}<L\\ {\lambda }_2^{new}，L\le {\lambda }_2^{new,unc}\le H\\ H，{\lambda }_2^{new,unc}\ge H\end{array}$$
同理可求解 ${\lambda }_2^{new}$ 。