支持向量机问题笔记

1.函数间隔

一般来说，一个点距离超平面的距离的远近可以表示该点分类正确的确信程度，即该点距离超平面越远，越相信该点的分类是正确的，越近就越不相信；
超平面确定的情况下，

可以相对的表示该点到平面的距离，而符号表示分类是否正确，所以符号乘以距离就表示分类的正确性以及确信程度，这就是函数间隔。
对于样本点（xi ， yi），超平面wx + b = 0对于该点的函数间隔为

超平面关于数据集函数间隔的定义为，对于一个超平面，数据集中所有样本点到该超平面的最小函数间隔值。

2. 几何间隔

在函数间隔中，当成比例的改变w、b的时候，超平面没有改变，但函数间隔却相应的改变了。因此需要对超平面的法向量作一些约束，使得间隔是确定的，例如加上规范化，就得到了几何间隔；

3.最大间隔分离超平面

我们希望的超平面是，几何间隔最大化的，也就是使所有样本中到超平面的最小值最大化，以保证分类正确且确信程度高，表示为最优化问题如下：

这里的不等式约束表示，要使得所有的几何间隔都比它大。

再考虑到几何间隔和函数间隔之间的关系，可以变为

等价于：

1. 函数间隔为什么可以取1？
   因为把w，b成比例改变时，函数间隔也是相应成比例改变，不会对上面的不等式约束造成影响

4.如何求解上面的凸二次规划问题

利用拉格朗日的对偶性，首先需要对每个不等式约束引入拉格朗日乘子，得到拉格朗日函数。根据拉格朗日对偶性，原问题的对偶问题是极大极小问题，也就是先求拉格朗日函数对w、b的极小，再求对拉格朗日乘子的极大。

5.KKT条件

x 是原始问题和对偶问题的解的充分必要条件就是x必须满足kkt条件。

6.软间隔

对于线性不可分数据，硬间隔并不适用，不是所有数据都满足不等式约束条件。因此，允许某些点可以不满足约束，对于每个样本，加入一个松弛变量，使函数间隔加上松弛变量后大于等于1.

7 惩罚参数的作用

目标函数是为了，尽可能使间隔最大，同时使得分类错误的个数尽量少，C是为了在两者之间调和

8.核技巧

首先使用一个变换将原空间的数据映射到新空间，然后在新空间中用线性可分方法，学习分类模型。当映射函数是非线性函数时，学习到的模型就是非线性模型。
在目标函数中，都只涉及到实例与实例之间的内积，将内积用核函数代替。
核矩阵是半正定的对称函数，才可以作为核函数。

9.序列最小最优化算法（SMO）

基本思路：选择两个变量，固定其他变量，针对这两个变量，求解相应的二次规划问题，得到的解应该接近原问题的解，因为会使得原问题的目标函数值变小。将原问题不断分解成子问题，进而达到求解原问题解的目的。

如何选取两个变量？

1. 第一个变量，选择不满足KKT条件的变量，首先遍历在间隔边界上的支持向量点，检验是否满足KKT条件，都满足的话在遍历整个训练集。
2. 第二个变量，使得两个变量对应的样本之间的间隔最大，这样目标函数值下降也最快。如果该方法选择的变量不能使函数有足够的下降，则选取支持向量点作为第二个变量，直到目标函数有足够的下降，不行再遍历整个数据集。最后还不行，放弃第一个变量，重新寻找一个。
3. 根据两个变量的最优解，不断更新；

直到所有变量满足KKT条件为止。

因为子问题总有解析解，所以每次计算都很快。

10.支持向量机的优化是一个凸二次规划，具有全局最优解

11.最优分离超平面由支持向量完全决定，因为目标函数求解的实际是最大化支持向量之间的距离