SVM支持向量机

一、SVM与感知机关系

1.1、SVM概念

1）SVM（Support Vector Mechine）支持向量机，是一个二分类算法，其对感知机进行了扩展，支持线性分类和非线性分类；
2）可以用于回归任务（SVR）中；也可以用于多分类中，升维方式（OvR、OvO）;

1.2、感知机

1）思想：在任意空间中找到一个超平面，将所有二分类别分割开；
2）前提：数据是线性可分的
3）模型/判别式：样本代入模型计算结果大于0则为正确分类，反正则为错误分类

4）损失函数：期望使分类错误的所有样本到超平面的距离之和最小；（结果为0时成为完美分类器，意味着每一分错的样本）

1.3、SVM与感知机比较

1）相同点：都是寻找一个超平面解决二分类问题的算法，一侧计算结果为正则正例，一侧计算结果为负则负例；
2）不同点：损失函数不同，感知机是通过判断错的点寻找超平面；SVM是通过支持向量寻找超平面；逻辑回归通过最大似然寻找超平面；
3）高级点：SVM尝试找到一个决策边界，距离两个类别最近的样本点最远，这样模型的容忍度会更好；

二、几何距离与函数距离

2.1、概念

感知机使用几何距离计算中的损失函数大小；SVM使用函数距离；

上面为某点到平面的几何距离

2.2、关键词说明

1）三种支持向量机：线性可分支持向量机（硬间隔最大化）、线性支持向量机（软间隔最大化）、非线性支持向量机（升维【核函数】）
2）线性可分（Linearly Separable）：即指在数据集中，可以找到一个超平面将两组数据分开
3）线性不可分（Linearly Inseparable）:即指在数据集中，无法可以找到一个超平面将两组数据分开
4）间隔（Margin）：数据点到分割超平面的距离
5）分割超平面（Separating Hyperplane）：将数据集分割开的直线或平面
6）支持向量（Support Vector）：离分割超平面最近的点

三、损失函数推导

通过线性可分支持向量机进行说明
1）实现硬间隔最大化，需要满足两个条件：能够完美分类正负例、距离最近的点越远越好
2）怎么确定超平面

3）目标：能够正确分类的平面中，距离越近的越远越好；（即找到一组最好的w和b固定一个超平面，可以完美分类正负例，且距离最近的点间隔最大）
4）转为为有约束的函数最优化问题

5）目标简化：一个超平面对应无数组w和b，只要找到其中任意一组即可，所以令函数距离等于1，则最优化问题可以简化为如下

6）将求解最大问题转为最小问题，得到等价的、带约束的损失函数（s.t即约束条件，1/2后面跟的就是L2正则项）

两种最优化问题求解方案：上面的损失函数+SMO、hinge Loss+GD

四、最优化问题

拉格朗日函数，将带有约束问题，对原始问题求最小，转为无约束条件，先对原始问题求最大，再求最小；
好处：去掉约束条件；
代价：一次优化变成了二次优化、每个阿尔法需要大于等于0

4.1、硬间隔SVM

4.1.1、求解流程

1）原始目标：求得一组w和b使得间隔margin最大
2）转换目标：通过拉格朗日函数，构造出目标函数，问题由求得n个w和1个b转换为求得m个α

3）利用smo算法求得m个α
4）利用求得的m个α*，求得w**和b*

4.1.2、思路推导流程

4.1.2.1、函数最优化问题（无约束条件）

给定一个函数f(x)=x²+2x+3，找到一个x使得f(x)最小，对x的取值范围不做限制

4.1.2.2、函数最优化问题（有约束条件）

给定一个函数f(x)=x²+2x+3，找到一个x使得f(x)最小，但有约束条件x>=0

4.1.2.3、原始最优化问题

对应带约束带条件的最优化问题，其泛化表示形式为如下，s.t表示约束条件，即k个不等式约束条件和l个等式约束条件（SVM没有hj函数部分）

4.1.2.4、拉格朗日函数

使用拉格朗日函数的目的，是将有约束的最优化问题转换我无约束条件最优化问题，下面的式子与原始最优化问题式子等价；
定义一个原始最优化问题的拉格朗日函数，ci表示第i个不等式约束函数，βi表示第j个等式约束函数，αi和βi即为拉格朗日乘子。

拉格朗日函数特性：令

如果x满足上述s.t约束条件，则

如果x不满足s.t约束条件，则

即


所以，对原始约束条件求最小，可以转换为先对拉格朗日函数函数求最大再求最小，即二次优化问题。也就是说，我们目标是求解x，但是会先在求最大值时解出α和β值，然后再将二者带入公式求最小值时解出x。

4.1.2.5、对偶问题

定义

此时求解θD极大值，则称为拉格朗日极大极小问题，也叫原始问题的对偶问题

其最优解形式为

所以，当f(x)的ci函数为凸函数，hj函数为仿射函数（高维空间中的一条线），那么极小极大问题可以转换为极大极小问题（minmax=maxmin）

4.1.2.6、KKT条件求解

4.1.2.7、求解SVM最优化问题

4.1.2.7.1、整体流程

说明：之前的x表示w0-wn，而这里w表示w1-wn，b表示w0截距项，因为SVM不涉及β，所以函数式子中没有β

4.1.2.7.2、先求极小值（KKT条件）

4.1.2.7.3、再求极大值（将极小结果反代回公式）

4.1.2.7.4、整理对偶函数

4.1.2.7.5、求得最终超平面

4.2、软间隔SVM

4.2.1、硬间隔SVM面临的问题

硬间隔SVM要求完美的分割正负例样本，如果数据集线性不可分，包含噪声样本点，则意味着无法找到一个合格的超平面，也就是无法得出w和b的最优解

4.2.2、如何解决上述问题

引入松弛变量，将约束条件变为，ξ代表异常点嵌入间隔面的深度，我们要在能选出符合约束条件的最好的 w 和 b 的同时，让嵌入间隔面的总深度越少越好

4.2.3、目标函数优化

4.2.4、软间隔支持向量分析

4.2.5、软间隔最大化算法

1）设定惩罚系数C，构造优化问题

4.2.6、判别函数的另一种表达形式

4.3、非线性SVM与核函数

4.3.1、如何处理线性不可分问题

4.3.1.1、升维

4.3.1.2、核函数

4.3.2、svm算法求解流程

1）选择某个核函数及对应超参数
2）选择惩罚系数C
3）构造最优化问题