SVM_支持向量机

SVM简介

支持向量机（support vector machines，SVM）是一种二分类模型，基本模型是定义在线性空间上的间隔最大的线性分类器，间隔大使它有别于普通的感知机，通过核技巧隐式的在输入空间直接求解映射空间中特征向量的内积，使其成为一个非线性分类器。；svm还包括核技巧，使它成为实质上的非线性分类器。
SVM的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，等价于正则化的合页损失函数的最小化问题。SVM的学习算法就是求解凸二次规划的最优化算法。

SVM的几个核心概念

1 确定超平面及函数间隔

由空间上的平面公式确定超平面wx+b = 0，且|wx+b|表示点x到平面上的距离。正例负例位于分割平面两侧，因此y(wx+b) 可同时表示分类正确性以及距离确信度。这也就是函数间隔，其被定义为训练集中所有点到超平面距离的最小值。

2 几何间隔

由于成比例地缩放w和b会使得 |wx+b| 跟着成比例缩放，因此，需要对法向量w加上约束，使得间隔是确定的，也就是函数间隔整体除以 ||w||，也就得到了几何间隔

3 间隔最大化（硬间隔）

分为硬间隔最大和软间隔最大
SVM的基本思想就是求解可以正确划分数据集并且几何间隔最大的分离超平面，其原因是线性可分超平面有无数个，但是间隔最大超平面是唯一的。
间隔最大化的意思就是以充分大的确信度对训练数据进行分类，也就是说，不仅将正负实例分开，同时对最难分的实例点（距离超平面最近的点）也有足够大的确信度将其分离。

4 支持向量

与超平面最近的点被称为支持向量，也就是使得原始问题约束项成立的点。
实际上离超平面很远的点已经被正确分类，我们让它离超平面更远并没有意义。反而我们最关心是那些离超平面很近的点，这些点很容易被误分类。如果我们可以让离超平面比较近的点尽可能的远离超平面，那么我们的分类效果会好有一些。

5核函数

注意，核函数本质不是将特征映射到高维空间，而是找到一种直接在低位空间对高维空间中向量做点积运算的简便方法。

6 为何将原始问题转化为对偶问题

总是说对偶问题更容易求解，道理在哪呢？
之所以说换为对偶问题更容易求解，其原因在于降低了算法的计算复杂度。在原问题下，算法的复杂度与样本维度相关，即等于权重w的维度，而在对偶问题下，算法复杂度与样本数量有关，即为拉格朗日算子的个数。
因此，如果你是做线性分类，且样本维度低于样本数量的话，在原问题下求解就好了，Liblinear之类的线性SVM默认都是这样做的；但如果你是做非线性分类，那就会涉及到升维（比如使用高斯核做核函数，其实是将样本升到无穷维），升维后的样本维度往往会远大于样本数量，此时显然在对偶问题下求解会更好。
另一方面，我们有分析过，只有在支持向量上的样本对应的拉格朗日算子λ才大于0，其余的λ都是=0，而转为对偶问题的计算对象仅有λ，所以大大降低了计算复杂度。

tip：（百度词条）
原始-对偶方法的基本思想是为了得到原问题的基础容许解，常用的方法是首先在原问题中引入人工变量，将目标函数换成人工变量之和的负值；
然后极大化目标函数，并将得到的最优基础容许解消去人工变量，此解即为原问题的基础容许解，
如果对偶问题有容许解与原问题的基础容许解满足互补松弛条件，则原问题的基础容许解也就成为最优基础容许解。
基本思想：
原始-对偶方法是求解线性规划的一种算法，指求解线性规划的一类特殊对偶型方法，其特殊性在于，它是以松弛互补性条件为基础去构造一个由原问题产生的限定问题，并通过求解此限定问题去改善解对原问题的可行性，这一过程含有单纯形法与对偶单纯形方法的思想，所以有此名。

合页损失函数

在支持向量机中，构造目标函数时可以选用合页损失函数作为损失函数。合页损失函数不仅要分类正确，而且确信度足够高时损失才是0，也就是说，合页损失函数对学习有更高的要求。
合页损失函数的计算：

下标“+”表示以下取正值的函数。

https://zhuanlan.zhihu.com/p/31886934

https://zhuanlan.zhihu.com/p/88314990