机器学习十——SVM二(自己学习与理解知识点梳理)

SVM的软间隔模型

如果有异常点导致我们的数据线性不可分，也就是不满足下面条件了。下面条件就是预测对的数据都在支持向量的两侧。所以我们引入了软间隔的模型。

硬间隔： 上一篇中我们讲到的svm的距离划分就是硬间隔。在线性可分的svm中要求函数距离一定大于1的就是上图的条件，为硬间隔条件。

这里的松弛因子越大表示点里分割平面越近，允许的偏差越大。如果松弛因子大于1表示允许样本分错，如果松弛因子等于0表示是支持向量或者分对的样本，如果小于1大于0代表落在支持向量和分割平面中间。所以我们再给每个样本松弛因子的时候如果给的过大，就会导致分错的点增多(比如有很多点分错了我都给不管偏离多么远给需要的松弛因子，这样他们也可以被认为是正确的，随意给的过大，很多分错的样本就被认为是对的)。所以把每个样本的松弛因子累加作为惩罚项加进去。通过累加松弛因子我们希望分错的点越少越好。也就是说我们在选分个平面的时候不光考虑最大化。还要考虑分错的点要少，也就是松弛因子给的要小。(这里注意，我们求的是个最大分割平面到支持向量的距离，所以很容易就把松弛因子求大了，但是我们不希望让更多的样本在平面和支持向量中间或者分错)

软间隔求解

将偏导结果带到式子里求最大值


其实最终结果和线性可分svm基本一致，就是β的值不能大于c的值即可。

上面是对近似线性可分数据的处理后面对线性可分和近似可分的再做补充
其实改变的地方就是加入了松弛因子，然后条件变了找支持向量的约束也变了，后面再补充。
自己理解：在软间隔中，β和C和μ的关系是怎样的，也就是如何找出支持向量来计算b
当β=0的时候，这时候是计算正确的点
当0<β<C 支持向量
当β=C 有松弛因子的点。这里后面再补充

线性不可分的数据

对于线性不可分的数据我们可以进行多项式拓展，然后再高维空间可以进行线性可分。但是如果数据的维度多再进行高阶拓展那么计算量就会非常大。所以引入了核函数。

核函数


如果我们把二维数据做一个二阶拓展在点乘，就是上图，计算量比较大。

我们直接用低纬度的向量点乘，得到上图。上图如果我们不考虑系数其实是很相似的。

上图在我们加入了系数0.8476之后得到的值和高纬度的结果近似了。

SMQ——序列最小优化算法

这就是我们要用SMQ来解决的问题。

加入我们求得了β，我们就可以求得分割平面的w和b，就得到了分割平面。


从这两个关系中我们可以推导出我们这个这个超平面药符合哪些条件。

这是前面我们得到的判断支持向量的条件。我们得到的最有分割平面一定要满足前面得五个条件。

再加上这两个拉格朗日函数的默认条件，一共五个条件。这样我们找到β的条件我们通过样本来验证β得取值。


这里对上面做一个总结
在以往最优质得求解中我们会对损失函数求极值。但是这次得损失函数是第一张图，m个β难以进行最优，所以我们换思路。我们假设存在一个β得向量是满足最优得平面，所以我们就有最优得平面。我们找到这个最优平面要满足得几个条，来对β不断优化。在这里我们每次优化两个β，因为所有β*y的和要等与0，所以我们每次优化两个β，保证和不变，并且β的取值还要使损失函数最小，所以所有β优化完就是最终的。

这里对我们的两个β做优化。具体过程后面补充。这里简单描述下思想。
先去两个β来进行优化，其他的β看作常量。这两个β去偏离正确值更大的来优化，用这个β代替另一个，带入损失函数，求导得到最小值，早根据β的限制来取的β最优解，再用这个β求出另一个β(这里会用到上一轮的β)

SVR

SVM的回归算法。

在SVR中我们希望实际值的点尽量在预测值线的附近，所以我们的损失函数如上图，希望实际值和预测值的差值要小于我们定义的eps。这里就是简单的介绍，不多写了。