支持向量机

支持向量机

简要介绍

支持向量机（support vector machine），又称SVM，是一种常见的数据分类学习算法，目的是求得参数建立函数$f(X)=W^{T}X+b$，将样本代入，大于0的与小于0的为不同类别，求得参数有两种方法，其一，满足一个条件，即$f(X)=0$分开的两个类别间隔要最大化，所以SVM亦称为最大间隔算法，见图一，另外一种方法是类似对数几率回归一样，即使得损失函数最小化，损失函数比较特殊，此处建议观看吴恩达老师的课程支持向量机一章，下文对第一种方法推导。

具体原理

两个类别的最大间距为$\frac{2}{||w||}$，最大化间距即最小化$||w||$，即我们最终要求
$$\begin{gathered} 求参数w,b使得 \\ \frac{1}{2}||w|{|}^2最小 \\ 约束条件:y_i(w^T{x}_i+b)\ge 1，i=1,2,\cdots ,m \end{gathered}$$
约束条件即为要满足这条直线（或者平面或者更高维的东东）能够完全分开数据，这是SVM的硬间隔，当然也有软间隔，即不需要完全分开数据，能够承受一定的误差，则能够减少噪声样本的影响，我们还是回到硬间隔上。

上面的公式是不等约束条件的优化问题，用拉格朗日乘子法：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-(y_i(w^T{x}_i+b))). \\ \frac{\partial L}{\partial w}=0\to w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i(1) \\ \frac{\partial L}{\partial b}=0\to \sum _{i=1}^m{\alpha }_i{y}_i=0(2) \end{gathered}$$
将（1）式代入拉格朗日函数中，经过复杂的化简，过程见图

即最终得到
$$W(\alpha )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}(\sum _{i,j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j)$$
现在求参数$\alpha$的值使得上述式子有最大值，从而可以求得$w$和$b$，不过上述式子还有约束条件
$$\begin{gathered} {\alpha }_i\ge 0 \\ {y}_i(w^T{x}_i+b)\ge 1，i=1,2,\cdots ,m \\ {\alpha }_i(1-y_i(w^T{x}_i+b))=0，i=1,2,\cdots ,m \end{gathered}$$
关于为什么求$\frac{1}{2}||w|{|}^2$最小等价于求$W(\alpha )$最大，并且还有不同的约束条件，这就涉及到拉格朗日乘子法中不等式约束条件的做法了，即求对偶问题和KKT条件，这里不多述

然而这么多${\alpha }_i$，又怎么求呢？这里就用到SMO（序列最小化算法）

其核心思想是

• 选取两个合适的${\alpha }_i,{\alpha }_j$，将其他变量看作常数
• 这就变成了双变量的优化问题，约束条件为${\alpha }_i{y}_i+{\alpha }_j{y}_j=C$
• 重复步骤1直至达到终止循环条件

有两个问题：1，如何选取${\alpha }_i,{\alpha }_j$，2，循环终止条件是什么

1. ${\alpha }_i$应该要遍历所有的$\alpha$都要取一遍，${\alpha }_j$的选取与${\alpha }_i$有关，其标准为两个$\alpha$所对应的预测误差值之差的绝对值最大

2. 当所有$\alpha$不能被更新，即收敛后则终止循环

最大

2. 当所有$\alpha$不能被更新，即收敛后则终止循环