【机器学习】支持向量机(SVM)

支持向量机是一个二分类的方法。


所以对于非线性可分的数据，先对其进行升维，将它映射到一个高维度的向量空间中，在这个高维度的向量空间中，这些数据被转换成了线性可分的。

这里之所以要将超平面定为1和-1，是因为这是一个标量，通过同时扩大或缩小w和b就能实现单位化。

可以构造拉格朗日函数，转化为对偶问题求解。
位于超平面H1、H2上的训练样本点成为支持向量。

接下来是线性不可分的情况，所谓的线性不可分的情况，就是除了少量数据外，大部分数据仍然是线性可分的，我们可以通过引入一个非负的松弛变量对数据的严格性做了一个松弛。引入的松弛变量我们也想让它尽量小，所以用一个平衡系数C来约束松弛变量的大小。


当松弛变量为0的时候，数据完全正确的可分；
当松弛变量介于0到1之间的时候，在两个超平面之间有数据点存在，但是数据依然是正确可分的；
当松弛变量大于1的时候，存在了错误划分的情况。

非线性支持向量机强调的是把数据从输入空间映射到高维的特征空间，从而在高位特征空间中，数据是线性可分的。为了避免高维的复杂计算，采用核函数的方法，通过核函数来完成非线性支持向量机的求解过程。



【一分类支持向量机】
举例：异常值的检测，如果我们只关注正常的数据的话，这个问题可以视为一个一分类问题。
一分类支持向量机的基本思想是：构造超球体实现一分类问题，它构造的是一个以a为中心，以R为半径的包含样本点的最小超球。

【多分类支持向量机】
多分类支持向量机强调的是把数据点分成多个类别，求解多分类支持向量机主要有两种方法。

直接法：直接修改目标函数，将多个分类面的参数合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。其特点是简单，但是计算复杂度较高，实现较困难，因此只适合小型问题。

间接法：主要是通过组合多个二分类器来实现多分类器的构造。主要有：

• 一对多法：训练时依次把某个类别的样本归为一类，其它样本归为另一类，这样k个类别的样本构造了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。
  优点：训练k个分类器，个数较少，其分类速度相对较快。
  缺点：训练速度会随着训练样本的数量的增加而急剧减慢；样本不对称(负类样本的数据要远远大于正类样本的数据)；当新的类别加入时，需要对所有的模型重新训练。
  解决样本不对称的问题：引入不同的惩罚因子，对样本点较少的正类采用较大的惩罚因子C。
  从“一对多”的方法可以衍生出基于决策树的分类。
• 一对一法：在任意两类样本之间设计一个SVM，因此k个类别的样本需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，得票最多的类别即为该未知样本的类别。当类别很多的时候，模型的个数是k(k-1)/2，代价相当大。
  从“一对一”的方法可以衍生出有向无环图的分类方法。
• 基于一分类思想的多分类支持向量机方法：受到基于一类分类思想的启发，在高维特征空间中对每一类样本求出一个超球体中心，然后计算待测试样本到每类中心的距离，根据最小距离来判断该点所属的类。
  
  参考资料：机器学习-北京理工大学-中国大学mooc