机器学习——支持向量机（SVM）

1. SVM基本型

分离超平面：${\omega }^{T}x+b=0$
间隔边界：${\omega }^{T}x+b=\pm 1$
支持向量：$y_i({\omega }^T{x}_i+b)=1$

原始问题

$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2$$$$s.t.1-y_i({\omega }^T{x}_i+b)\le 0,i=1,2,...,n$$

变量：$\omega =({\omega }_1,{\omega }_2,...,{\omega }_d{)}^T,b$
约束：$n$个不等式约束

模型推导：
样本点$x$到超平面$(\omega ,b)$的距离$d=\frac{|{\omega }^{T}x+b|}{||\omega ||}$，我们可以对$(\omega ,b)$进行适当缩放，最终使得在支持向量$x_0$上有$|{\omega }^T{x}_0+b|=\pm 1$，此时支持向量到超平面的距离为$\frac{1}{||\omega ||}$。
间隔定义为两个异类支持向量到超平面的距离之和，即$\frac{2}{||\omega ||}$，优化目标转化为最大化$\frac{2}{||\omega ||}$，也就是最小化$||\omega ||$或$||\omega |{|}^2$，此处带有$\frac{1}{2}$的原因是便于后续求导。
约束条件的意义在于所有样本点都需要满足该硬性条件，我愿称之为“硬间隔”。

对偶问题

$$\underset{\lambda }{\min }\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j{x}_i^T{x}_j{\lambda }_i{\lambda }_j-{\Sigma }_{i=1}^n{\lambda }_i$$$$s.t.{\Sigma }_{i=1}^n{\lambda }_i{y}_i=0,$$$${\lambda }_i\ge 0,i=1,2,...,n$$

模型推导：
采用拉格朗日乘子法，定义拉格朗日函数：$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2+{\Sigma }_{i=1}^n{\lambda }_i(1-y_i({\omega }^T{x}_i+b)),{\lambda }_i\ge 0$$令$L(\omega ,b,\alpha )$对$\omega$和$b$的偏导为0可得：$$\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i$$$$0={\Sigma }_{i=1}^n{\lambda }_i{y}_i$$将$\omega$代入拉格朗日函数中即得对偶模型。

KKT条件

原始问题为极大极小问题（推导见下），即：$\underset{\omega ,b}{\min }\underset{\lambda \ge 0}{\max }L(\omega ,b,\alpha )$；
而对偶问题为极小极大问题（由定义），即：$\underset{\lambda \ge 0}{\max }\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$。

原问题为凸优化问题，当$f(x),g(x)$为凸函数，且可行域中至少有一点使不等式约束严格成立时，强对偶性成立，对偶问题等价于原问题。即需要满足$KKT$条件：$$\{\begin{array}{l}\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i,0={\Sigma }_{i=1}^n{\lambda }_i{y}_i\\ {\lambda }_i\ge 0\\ {\lambda }_i[1-y_i({\omega }^T{x}_i+b)]=0\\ 1-y_i({\omega }^T{x}_i+b)\le 0\end{array}$$

KKT条件推导如下：

当约束不起作用时，极小值在可行域内某处取得，而不在边界处取得，故此时$g(x^{\ast })<0$，$g(x)$不起作用，故$\lambda =0$，由极小值点梯度为零知${\nabla }_{x}f(x^{\ast })=0$。
当约束起作用时，极小值在可行域边界处取得，故此时$g(x^{\ast })=0$，易知$\lambda >0$，故由极小值点梯度为零知$-{\nabla }_{x}f(x^{\ast })=\lambda {\nabla }_{x}f(x^{\ast })$。

于是我们得到KKT条件，即$x^{\ast }$是局部最小的等价条件为，存在唯一的${\lambda }^{\ast }$，使得：$$\{\begin{array}{l}{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast })=0\\ {\lambda }^{\ast }\ge 0\\ {\lambda }^{\ast }g(x^{\ast })=0\\ g(x\ast )\le 0\end{array}$$

支持向量的探讨

假设已知支持向量$(x_s,y_s)$，易知$y_s({\omega }^T{x}_s+b)-1=0$，又已知$\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i$，故$b=y_s-{\omega }^T{x}_s=y_s-{\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i^T{x}_s$。

由上述推导知：当${\lambda }^{\ast }=0$时，$g(x^{\ast })<0$；当${\lambda }^{\ast }>0$时，$g(x^{\ast })=0$。也就是说，${\lambda }^{\ast }=0$和$g(x^{\ast })=0$二者必居其一。
由KKT条件知：${\lambda }_i[1-y_i({\omega }^T{x}_i+b)]=0$，因此满足${\lambda }_i=0$的样本点不出现在拉格朗日函数中，不影响模型求解；满足${\lambda }_i>0$的样本点必定满足$y_i({\omega }^T{x}_i+b)=1$，即一定是支持向量。
因此，只有支持向量对于模型求解才是有意义的。

求解分类平面

已知$\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i$，$b=y_s-{\omega }^T{x}_s=y_s-{\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i^T{x}_s$，欲求$f(x)={\omega }^{T}x+b$。
只需根据对偶模型求解各个拉格朗日乘子${\lambda }_i$，即代入$x_i,y_i$计算目标函数并进行求解即可：$$\underset{\lambda }{\min }\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j{x}_i^T{x}_j{\lambda }_i{\lambda }_j-{\Sigma }_{i=1}^n{\lambda }_i$$$$s.t.{\Sigma }_{i=1}^n{\lambda }_i{y}_i=0,$$$${\lambda }_i\ge 0,i=1,2,...,n$$

2. 软间隔SVM

支持向量：可以在间隔边界上、间隔边界间，甚至可以是错分类点。

软间隔SVM

$$\underset{\omega ,b,{\xi }_i}{\min }\frac{1}{2}||\omega |{|}^2+C{\Sigma }_{i=1}^n{\xi }_i$$$$s.t.y_i({\omega }^T{x}_i+b)\ge 1-{\xi }_i$$$${\xi }_i\ge 0,i=1,2,...,n$$其中，${\xi }_i$是松弛变量。

变量：$\omega ,b,{\xi }_i$
约束：$2n$个不等式约束

对偶问题

$$\underset{\lambda }{\min }\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j{x}_i^T{x}_j{\lambda }_i{\lambda }_j-{\Sigma }_{i=1}^n{\lambda }_i$$$$s.t.{\Sigma }_{i=1}^n{\alpha }_i{y}_i=0,$$$$0\le {\lambda }_i\le C,i=1,2,...,n$$

变量：$\lambda =({\lambda }_1,{\lambda }_2,...,{\lambda }_n{)}^T$
约束：1个等式约束，$n$个不等式约束

因此可以看出，软间隔SVM与SVM基本型的目标函数一致，约束条件仅在拉格朗日乘子的取值范围处有区别。当$C\to +\infty$时，软间隔SVM退化为SVM基本型。

模型推导：
采用拉格朗日乘子法，定义拉格朗日函数：$$L(\omega ,b,\alpha ,\xi ,\mu )=\frac{1}{2}||\omega |{|}^2+C{\Sigma }_{i=1}^n{\xi }_i+{\Sigma }_{i=1}^n{\lambda }_i(1-{\xi }_i-y_i({\omega }^T{x}_i+b))-{\Sigma }_{i=1}^n{\mu }_i{\xi }_i,{\lambda }_i\ge 0$$令$L(\omega ,b,\alpha )$对$\omega$和$b$的偏导为0可得：$$\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i$$$$0={\Sigma }_{i=1}^n{\lambda }_i{y}_i$$$$C={\lambda }_i+{\mu }_i$$将$\omega$代入拉格朗日函数中即得对偶模型。

KKT条件

同理，要使原始问题与对偶问题等价，需要满足KKT条件：$$\{\begin{array}{l}\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i,0={\Sigma }_{i=1}^n{\lambda }_i{y}_i,C={\lambda }_i+{\mu }_i\\ {\lambda }_i\ge 0,{\mu }_i\ge 0\\ {\lambda }_i(1-{\xi }_i-y_i({\omega }^T{x}_i+b))=0,{\mu }_i{\xi }_i=0\\ 1-y_i({\omega }^T{x}_i+b)\le 0,-{\xi }_i\le 0\end{array}$$
可以简化表示为（去掉参数$\mu$）：$$\{\begin{array}{l}\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i,0={\Sigma }_{i=1}^n{\lambda }_i{y}_i\\ 0\le {\lambda }_i\le C\\ {\lambda }_i(1-{\xi }_i-y_i({\omega }^T{x}_i+b))=0,(C-{\lambda }_i){\xi }_i=0\\ 1-y_i({\omega }^T{x}_i+b)\le 0,-{\xi }_i\le 0\end{array}$$

支持向量的探讨

同理，满足${\lambda }_i>0$的样本点都是支持向量，支持向量满足$y_i({\omega }^T{x}_i+b)=1-{\xi }_i$：

• ${\lambda }_i<C$时，由$C={\lambda }_i+{\mu }_i$知${\mu }_i>0$，再由${\mu }_i{\xi }_i=0$知${\xi }_i=0$，因此$x_i$落在间隔边界上；
• ${\lambda }_i=C$时，若$0<{\xi }_i<1$，则$x_i$落在间隔边界和超平面之间；
• ${\lambda }_i=C$时，若${\xi }_i=1$，则$x_i$落在超平面上；
• ${\lambda }_i=C$时，若${\xi }_i>1$，则$x_i$落在超平面另一侧。

优化目标

由软间隔SVM的约束条件：$y_i({\omega }^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,2,...,n$，容易得到：${\xi }_i\ge max(0,1-y_i({\omega }^T{x}_i+b))$。
因此软间隔SVM的优化目标为：$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2+C{\Sigma }_{i=1}^{n}max(0,1-y_i({\omega }^T{x}_i+b))$$而hinge损失函数为：$los{s}_{hinge}(z)=max(0,1-z)$，因此软间隔SVM是最小化hinge损失函数的正则化模型。
其中，$\frac{1}{2}||\omega |{|}^2$是正则项（提供模型先验信息，防止过拟合），${\Sigma }_{i=1}^{n}max(0,1-y_i({\omega }^T{x}_i+b))$是误差项（衡量预测值与真实值的误差），$C$是正则参数（用于平衡其余两项的大小）。

监督学习任务模型：$$\underset{f}{\min }\Omega (f)+C{\Sigma }_{i=1}^{n}loss(f(x_i),y_i)$$其中，$\Omega (f)$称为“结构风险”（正则项），${\Sigma }_{i=1}^{n}loss(f(x_i),y_i)$称为“经验风险”（误差项），$C$用于对二者进行折中（正则参数）。
$L_p$范数是常用的正则化项：$L_0$范数$||\omega |{|}_0$代表$\omega$中非零元的个数；$L_1$范数$||\omega |{|}_1$代表各元素绝对值之和${\Sigma }_i|{\omega }_i|$；$L_2$范数$||\omega |{|}_2$代表各元素平方和开根号$\sqrt{{\Sigma }_i{\omega }_i^2}$。

模型求解

• 求出内积矩阵$K$，其中$K_{ij}=x_i^T{x}_j$；
• 应用SMO算法求解对偶模型。

3. 核化SVM

基本思想：对于非线性可分的数据，尝试找到一个非线性映射𝝓，使得数据在新的空间（通常为高维空间）是线性可分的，然后再使用线性SVM进行分类。

核化SVM

$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2$$$$s.t.1-y_i({\omega }^T\varphi (x_i)+b)\le 0,i=1,2,...,n$$

对偶问题

$$\underset{\lambda }{\min }\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j){\lambda }_i{\lambda }_j-{\Sigma }_{i=1}^n{\lambda }_i$$$$s.t.{\Sigma }_{i=1}^n{\lambda }_i{y}_i=0,$$$${\lambda }_i\ge 0,i=1,2,...,n$$引入核函数$\kappa (x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$，将$\varphi$隐式表示出来，并使内积计算变得容易。

对偶问题转化为：$$\underset{\lambda }{\min }\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j\kappa (x_i,x_j){\lambda }_i{\lambda }_j-{\Sigma }_{i=1}^n{\lambda }_i$$$$s.t.{\Sigma }_{i=1}^n{\lambda }_i{y}_i=0,$$$${\lambda }_i\ge 0,i=1,2,...,n$$当然，其中$\kappa (x_i,x_j)$等价于$K_{ij}$。
分离超平面为：$$f(x)={\omega }^T\varphi (x)+b={\Sigma }_{i=1}^n{\lambda }_i{y}_i\varphi (x_i)\varphi (x)+b={\Sigma }_{i=1}^n{\lambda }_i{y}_i\kappa (x_{,}{x}_i)+b$$

模型求解

• 选取合适的核函数，求出核矩阵$K$；
• 应用SMO算法求解对偶模型。

4. SMO算法

SMO算法的基础：坐标上升（下降）算法
欲求解以下优化问题：$$\underset{\lambda }{\max }W({\lambda }_1,{\lambda }_2,...,{\lambda }_n),\lambda =({\lambda }_1,{\lambda }_2,...,{\lambda }_n{)}^T$$坐标上升（下降）算法每次迭代只调整一个变量${\lambda }_i$的值，其他变量在该次迭代中固定不变。虽然对一个参数的一次优化不可能保证其结果就是所优化的拉格朗日乘子的最终结果，但会使目标函数向极小值迈进一步，这样对所有的乘子做最小优化，直到所有满足KKT条件时，目标函数达到最小。

SMO算法基本思想：每次选定两个变量${\lambda }_i$和${\lambda }_j$，并固定其他参数。
在参数初始化后，不断执行以下两个步骤直至收敛：

• 选取一对需更新的变量${\lambda }_i$和${\lambda }_j$；
• 固定${\lambda }_i$和${\lambda }_j$以外的参数以求解对偶问题，获得更新后的${\lambda }_i$和${\lambda }_j$。

${\lambda }_i$的选取准则：选取违背KKT条件程度最大的变量（把害群之马纠正回来）；
${\lambda }_j$的选取准则：选取使目标函数值增长最快的变量（缩短训练时间）；
SMO启发式选取变量：选取对应样本点之间间隔最大的两个变量。

欲求解以下问题：$$\underset{\lambda }{\max }{\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j{x}_i^T{x}_j{\lambda }_i{\lambda }_j$$$$s.t.{\Sigma }_{i=1}^n{\alpha }_i{y}_i=0,$$$$0\le {\lambda }_i\le C,i=1,2,...,n$$固定其他变量，仅考虑${\lambda }_i$和${\lambda }_j$：$$\underset{{\lambda }_i,{\lambda }_j}{\min }\frac{1}{2}(x_i^T{x}_i){\lambda }_i^2+\frac{1}{2}(x_j^T{x}_j){\lambda }_j^2+(y_i{y}_j{x}_i^T{x}_j){\lambda }_i{\lambda }_j-{\lambda }_i-{\lambda }_j+({\Sigma }_{k\ne i,j}^n{y}_i{y}_k{x}_i^T{x}_k{\lambda }_k){\lambda }_i+({\Sigma }_{k\ne i,j}^n{y}_j{y}_k{x}_j^T{x}_k{\lambda }_k){\lambda }_j$$$$s.t.y_i{\lambda }_i+y_j{\lambda }_j=-{\Sigma }_{k\ne i,j}^n{y}_k{\lambda }_k$$$$0\le {\lambda }_i,{\lambda }_j\le C,i=1,2,...,n$$令$K_{ii}=x_i^T{x}_i,K_{jj}=(x_j^T{x}_j),c_{ij}=y_i{y}_j{x}_i^T{x}_j,c_i={\Sigma }_{k\ne i,j}^n{y}_i{y}_k{x}_i^T{x}_k{\lambda }_k-1,c_j={\Sigma }_{k\ne i,j}^n{y}_j{y}_k{x}_j^T{x}_k{\lambda }_k-1,c=-{\Sigma }_{k\ne i,j}^n{y}_k{\lambda }_k$，简化为：$$\underset{{\lambda }_i,{\lambda }_j}{\min }\frac{1}{2}{K}_{ii}{\lambda }_i^2+\frac{1}{2}{K}_{jj}{\lambda }_j^2+c_{ij}{\lambda }_i{\lambda }_j+c_i{\lambda }_i+c_j{\lambda }_j$$$$s.t.y_i{\lambda }_i+y_j{\lambda }_j=c$$$$0\le {\lambda }_i,{\lambda }_j\le C,i=1,2,...,n$$由$y_i{\lambda }_i+y_j{\lambda }_j=c$知${\lambda }_j=y_j(c-y_i{\lambda }_i)$，代入上式得：$$\underset{{\lambda }_i}{\min }\frac{1}{2}{K}_{ii}{\lambda }_i^2+\frac{1}{2}{K}_{jj}(c-y_i{\lambda }_i{)}^2+c_{ij}{\lambda }_i{y}_j(c-y_i{\lambda }_i)+c_i{\lambda }_i+c_j{y}_j(c-y_i{\lambda }_i)$$$$s.t.y_i{\lambda }_i+y_j{\lambda }_j=c$$$$0\le {\lambda }_i\le C,i=1,2,...,n$$至此，对偶问题被转化为简单的单变量二次优化问题。

注意：验证${\lambda }_j=y_j(c-y_i{\lambda }_i)$是否在区间$[0,C]$中，否则最小值在边界处取得。

5. 支持向量回归（SVR）

所有点的真实值$y_i$都落在$f(x_i)$的$ϵ$邻域内。

SVR基本型：$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2+C{\Sigma }_{i=1}^{n}los{s}_{ϵ}(y_i-({\omega }^T{x}_i+b))$$$$s.t.|y_i-({\omega }^T{x}_i+b)|\le ϵ,i=1,2,...,n$$其中，$los{s}_{ϵ}$是$ϵ$-不敏感损失函数：$$los{s}_{ϵ}(z)=\{\begin{array}{l}0,if|z|\le ϵ;\\ |z|-ϵ,otherwise.\end{array}$$引入松弛变量${\xi }_i$和${\eta }_i$，得到软间隔SVR：$$\underset{\omega ,b,\xi ,\eta }{\min }\frac{1}{2}||\omega |{|}^2+C{\Sigma }_{i=1}^n({\xi }_i+{\eta }_i)$$$$s.t.y_i-({\omega }^T{x}_i+b)\le ϵ+{\xi }_i,i=1,2,...,n$$$$y_i-({\omega }^T{x}_i+b)\le ϵ+{\eta }_i,i=1,2,...,n$$$${\xi }_i,{\eta }_i\ge 0,i=1,2,...,n$$

欢迎各位批评探讨！！评论区交流！！