【机器学习】SVM关键点解析

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ { − 1 , 1 } D=\{(x_1, y_1), (x_2, y_2), ..., (x_m, y_m)\},y_i \in \{-1, 1\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{−1,1}。

y只是一个label，标记{-1,1}来区分正类和负类。

当然也可以标记为{0,300}，只不过此时分正类的标准变为(y-150)*f(x)>0。

超平面方程

$$f(x)=w^{T}x+b$$

• f(x)=0，超平面上的点。
• f(x)>0，分类为1的点。
• f(x)<0，分类为-1的点。

任意点到超平面的距离为
$$\frac{|w^T{x}_i+b|}{||w||}$$
实际上，对于$f(x)=w^{T}x+b$这个超平面，我们可以等比例的放大/缩小w和b，其分类结果不变。因此，我们可以约束距离超平面最近的点满足
$$w^T{x}_i+b=\pm 1，$$
即
$$y_i(w^T{x}_i+b)\ge 1$$

也可以用函数间隔和几何间隔来理解。

因此，为了使超平面的抗扰动效果最好，即超平面离两边的数据间隔最大，目标为
$$\begin{gathered} \max \frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$

SVM的基本型

$$\begin{gathered} \min \frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$

凸二次规划

这个问题可以用现成的QP (Quadratic Programming) 优化包进行求解。

但若利用“对偶问题”来求解会更高效；而且可以自然地引入核函数，进而推广到非线性分类问题。

目标函数	约束条件	问题分类
线性函数	线性约束	线性规划
二次函数	线性约束	二次规划
非线性函数	非线性约束	非线性规划

对偶问题

拉格朗日乘子法

用于解决有等式约束的优化问题。
$$\begin{gathered} \min f \\ s.t.g=0 \end{gathered}$$
引入$\lambda \ge 0$，定义$F=f+\lambda g$，求解
$$\{\begin{array}{ll}\frac{\delta F}{\delta x_i}& =0\\ \frac{\delta F}{\delta \lambda }& =0\end{array}$$

KKT条件

用于解决有不等式约束的优化问题。
$$\begin{gathered} \min f \\ s.t.g=0,h\le 0 \end{gathered}$$
引入$\lambda ,\mu \ge 0$，定义$L=f+\lambda g+\mu h$，求解
$$\{\begin{array}{ll}\frac{\delta L}{\delta x_i}& =0\\ \frac{\delta L}{\delta \lambda }& =0\\ \sum \mu \cdot h& =0\end{array}$$

SVM的拉格朗日函数

$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left(w^T{x}_i+b\right)\right)$$

目标函数表示为
$$\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L$$

• $y_i(w^T{x}_i+b)<1$，即不满足约束时，$\max L\to \infty$。
• $y_i(w^T{x}_i+b)\ge 1$，即满足约束时，$\max L=\frac{1}{2}||w|{|}^2$。

因此转化后的问题包含了原优化问题。

进一步，当满足KKT条件时，我们得到SVM的对偶问题：
$$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L$$
因此，下面我们计算KKT条件约束。
$$\{\begin{array}{ll}\frac{\delta L}{\delta w}& =0\\ \frac{\delta L}{\delta b}& =0\\ \sum {\alpha }_i(1-y_i(w^T{x}_i+b))& =0\end{array}$$
化简可得
$$\{\begin{array}{ll}w& =\sum {\alpha }_i{y}_i{x}_i\\ 0& =\sum {\alpha }_i{y}_i\end{array}$$
代入L可得
max ⁡ α i ≥ 0 { ∑ i = 1 m α i − 1 2 ∑ i , j = 1 m α i α j y i y j x i T x j } \max_{\alpha_i \geq 0}\{\sum_{i=1}^{m} \alpha_{i}-\frac{1}{2} \sum_{i, j=1}^{m} \alpha_{i} \alpha_{j} y_{i} y_{j} x_{i}^{T} x_{j}\} αi​≥0max​{i=1∑m​αi​−21​i,j=1∑m​αi​αj​yi​yj​xiT​xj​}
且满足约束
$$\{\begin{array}{ll}{\alpha }_i& \ge 0\\ 1-y_i(w^T{x}_i+b)& \le 0\\ {\alpha }_i(1-y_i(w^T{x}_i+b))& =0\end{array}$$

• ${\alpha }_i=0$，${\alpha }_i(1-y_i(w^T{x}_i+b))=0$必然成立；
• ${\alpha }_i>0$，则要求$1-y_i(w^T{x}_i+b)=0$，此时${\alpha }_i$对应的向量在最大间隔的边缘上，即是支持向量。

面对线性不可分问题，可加入松弛因子${ϵ}_i\ge 0$。

原始目标函数变为
$$\min \frac{1}{2}||w|{|}^2+C\sum {ϵ}_i$$
经KKT条件转变过的对偶问题的目标函数仍为
max ⁡ α i ≥ 0 { ∑ i = 1 m α i − 1 2 ∑ i , j = 1 m α i α j y i y j x i T x j } \max_{\alpha_i \geq 0}\{\sum_{i=1}^{m} \alpha_{i}-\frac{1}{2} \sum_{i, j=1}^{m} \alpha_{i} \alpha_{j} y_{i} y_{j} x_{i}^{T} x_{j}\} αi​≥0max​{i=1∑m​αi​−21​i,j=1∑m​αi​αj​yi​yj​xiT​xj​}
同时第一个约束条件变为$0<{\alpha }_i<C$。

如何求解$\alpha$

SMO算法

SMO 算法的基本思想是将原问题求解 $({\alpha }_1,{\alpha }_2,...,{\alpha }_N)$这 N 个参数的问题分解成多个子二次规划的问题分别求解，每个子问题只需要求解其中的 2 个参数，每次通过启发式选择两个变量进行优化，不断循环，直到达到函数的最优值。

为什么不能仅将一个作为参数？因为${\alpha }_i$之间满足约束$\sum {\alpha }_i{y}_i=0$，一旦其他$\alpha$确定，最后剩下的$\alpha$也将唯一确定。

化简对偶问题的目标函数

将${\alpha }_1,{\alpha }_2$视作变量，
$$\begin{array}{rl}\min \Psi \left({\alpha }_1,{\alpha }_2\right)=& \frac{1}{2}{K}_{11}{\alpha }_1^2{y}_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2{y}_2^2\\ & +\frac{1}{2}{K}_{12}{\alpha }_1{\alpha }_2{y}_1{y}_2+\frac{1}{2}{K}_{21}{\alpha }_2{\alpha }_1{y}_2{y}_1\\ & -\left({\alpha }_1+{\alpha }_2\right)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2+P\end{array}$$
由于，$y^2=1,K_{ij}=K_{ji}$，化简可得：
$$\begin{array}{rl}\min \Psi \left({\alpha }_1,{\alpha }_2\right)=& \frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+K_{12}{\alpha }_1{\alpha }_2{y}_1{y}_2\\ & -\left({\alpha }_1+{\alpha }_2\right)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2+P\end{array}$$
其中，$K_{ij}$为核函数，$v_i={\sum }_{j=3}^N{\alpha }_j{y}_j{K}_{ij}=0$，$P$为常数。

用${\alpha }_2表示{\alpha }_1$

由 $\sum {\alpha }_i{y}_i=0$ 得：
$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\zeta$$
等式两边同乘$y_1$（$y_i^2=1$）可得：
$${\alpha }_1=\left(\zeta -y_2{\alpha }_2\right)y_1$$
代入目标函数消去${\alpha }_1$可得：
$$\begin{array}{rl}\Psi \left({\alpha }_2\right)=& \frac{1}{2}{K}_{11}{\left(\zeta -{\alpha }_2{y}_2\right)}^2{y}_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+K_{12}\left(\zeta -{\alpha }_2{y}_2\right){\alpha }_2{y}_1^2{y}_2\\ & -\left(\zeta -{\alpha }_2{y}_2\right)y_1-{\alpha }_2+v_1\left(\zeta -{\alpha }_2{y}_2\right)y_1^2+y_2{v}_2{\alpha }_2+P\end{array}$$

对${\alpha }_2$求极值

$$\begin{array}{rl}\frac{\partial \Psi \left({\alpha }_2\right)}{\partial {\alpha }_2}=& \left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0\end{array}$$

SMO 的思想是一个迭代求解的思想，所以必须构造出 ${\alpha }_{new}$ 与 ${\alpha }_{old}$ 之间的关系：
$${\alpha }_1^{new}{y}_1+{\alpha }_2^{\text{new }}{y}_2={\alpha }_1^{\text{old }}{y}_1+{\alpha }_2^{\text{old }}{y}_2=\zeta$$
最终化简可得
$${\alpha }_2^{\text{new }}={\alpha }_2^{old}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$
其中，

• ${\alpha }_{new}$表示本次迭代的计算值，${\alpha }_{old}$为上次的迭代值。
• $E_i=f\left(x_i\right)-y_i$ 表示预测值与真实值的差。
• $\eta =K_{11}+K_{22}-2K_{12}$。

${\alpha }_2^{new}$的约束

上面通过求导的方式计算出的 ${\alpha }_{new}$ 是未经过约束的，即计算出来的值可能不满足约定的条件
$$\{\begin{array}{l}0\le {\alpha }_i\le C\\ {\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta \end{array}$$
这两个约束条件可以在二维平面上进行直观的展示

${\alpha }_{new}$ 必须要在方框内和斜线上取值，其最大最小值一定是其交点，所以有$L\le {\alpha }_2^{\text{new }}\le H$。

1. 当 $y_1\ne y_2$ 时, $L=\max \left(0,{\alpha }_2^{\text{old }}-{\alpha }_1^{\text{old }}\right);H=\min \left(C,C+{\alpha }_2^{\text{old }}-{\alpha }_1^{\text{old }}\right)$
2. 当 $y_1=y_2$ 时, $L=\max \left(0,{\alpha }_1^{\text{old }}+{\alpha }_2^{\text{old }}-C\right);H=\min \left(C,{\alpha }_2^{\text{old }}+{\alpha }_1^{\text{old }}\right)$

$${\alpha }_2^{\text{new }}=\{\begin{array}{l}H,{\alpha }_2^{new,unc}>H\\ {\alpha }_2^{\text{new },unc},L\le {\alpha }_2^{\text{new },unc}\le H\\ L,{\alpha }_2^{\text{new },unc}<L\end{array}$$

其中，${\alpha }_{new,unc}$ 表示 ${\alpha }_{new}$ 未经约束的结果（上述通过求导的结果）。

求解${\alpha }_1^{new}$

$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2\left({\alpha }_2^{old}-{\alpha }_2^{new}\right)$$

SMO变量的选取

第一个变量的选择称为外循环，首先遍历整个样本然后选择违反 KKT 条件的${\alpha }_i$作为第一个变量，其 KKT 条件如下：
$$\begin{array}{r}{\alpha }_i=0\Rightarrow y_i\left(w^T{x}_i+b\right)\ge 1\\ {\alpha }_i=C\Rightarrow y_i\left(w^T{x}_i+b\right)\le 1\\ 0<{\alpha }_i<C\Rightarrow y_i\left(w^T{x}_i+b\right)=1\end{array}$$

一般而言，首选选择违反 $0<{\alpha }_i<C\Rightarrow y_i(w^T{x}_i+b)=1$ 这个条件点。

如果支持向量都满足 KKT 条件，再选择 ${\alpha }_i=0\Rightarrow y_i(w^T{x}_i+b)\ge 1$ 和 ${\alpha }_i=C\Rightarrow y_i(w^T{x}_i+b)\le 1$ 这两个条件点。

第二个变量选择的过程为内循环，选择 $|E_1-E_2|$ 取得最大值的 ${\alpha }_2$。

如果内循环中找不到点能够使目标函数有足够的下降，则可遍历支持向量来做 ${\alpha }_2$；

如果所有支持向量均不能使得目标函数有足够的下降，则跳出循环，重新选择 ${\alpha }_1$。

SMO 阈值 b 的计算

1. 若 $0<{\alpha }_1^{\text{new }}<C$, 则

由 $y_1=\left({\omega }^T{x}_1+b\right)={\sum }_{i=1}^N{K}_{i1}{\alpha }_i{y}_i+b$ 得:
$$b_1^{new}=y_1-\sum _{i=3}^N{K}_{i1}{\alpha }_i{y}_i-K_{11}{\alpha }_1^{new}{y}_1-K_{21}{\alpha }_2^{new}{y}_2$$
而
$$y_1-\sum _{i=3}^N{K}_{i1}{\alpha }_i{y}_i=y_1-f\left(x_1\right)+K_{11}{\alpha }_1^{old}{y}_1+K_{21}{\alpha }_2^{old}{y}_2+b^{old}$$
代入可得:
$$\begin{array}{c}{b}_1^{new}=y_1-f\left(x_1\right)+K_{11}{\alpha }_1^{\text{old }}{y}_1+K_{21}{\alpha }_2^{\text{old }}{y}_2+b^{\text{old }}-{\alpha }_1^{\text{new }}{y}_1{K}_{11}-{\alpha }_2^{\text{new }}{y}_2{K}_{21}\end{array}$$
由 $E_i=f\left(x_i\right)-y_i$ 化简可得:
$$b^{\text{new }}=b_1^{\text{new }}=-E_1-y_1{K}_{11}\left({\alpha }_1^{new}-{\alpha }_1^{old}\right)-y_2{K}_{21}\left({\alpha }_2^{\text{new }}-{\alpha }_2^{\text{old }}\right)+b^{old}$$

2. 若 $0<{\alpha }_2^{new}<C$, 则
   $$b^{\text{new }}=b_2^{\text{new }}=-E_2-y_1{K}_{12}\left({\alpha }_1^{\text{new }}-{\alpha }_1^{\text{old }}\right)-y_2{K}_{22}\left({\alpha }_2^{\text{new }}-{\alpha }_2^{\text{old }}\right)+b^{old}$$

4. 若同时满足 $0<{\alpha }_i^{new}<C$, 则
   $$b^{new}=b_1^{new}=b_2^{new}$$

5. 若不同时满足 $0<{\alpha }_i^{new}<C$, 则
   $$b^{\text{new }}=\frac{b_1^{\text{new }}+b_2^{\text{new }}}{2}$$

总结

求解步骤:

1. 取初值 $\alpha =0,t=0$
2. 选择变量 ${\alpha }_1^t$ 和 ${\alpha }_2^t$, 根据公式求解出 ${\alpha }_2^{t+1}$
3. 利用 ${\alpha }_1^{t+1}$ 和 ${\alpha }_1^t,{\alpha }_2^t,{\alpha }_2^{t+1}$ 的关系求解出 ${\alpha }_1^{t+1}$
4. 通过 ${\alpha }_1^{t+1}$ 和 ${\alpha }_2^{t+1}$ 的满足的 $\mathrm{KKT}$ 条件关系求出 $b^{t+1}$
5. 检查 $E_i$ 是否在允许的精度 $e$ 之内
6. 检查求出的 ${\alpha }_1^{t+1}$ 和 ${\alpha }_2^{t+1}$ 是否满足 $\mathrm{KKT}$ 条件
7. 如果上面两个条件都满足则返回 ${\alpha }_1^{t+1}$ 和 ${\alpha }_2^{t+1}$, 否则跳转到第 2 步

参考文献：

【ML】支持向量机（SVM）从入门到放弃再到掌握

支持向量机SVM通俗理解（python代码实现）

支持向量机通俗导论（理解SVM的三层境界）

学习SVM，这篇文章就够了！（附详细代码）

SMO 算法超详细解析

SMO 算法的代码实现