『ML笔记』SVM笔记3软间隔手写详细推导

目录

一、下面手推导具体的过程：

二、综合整理所有：

---

• 线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适应的，因为这时上一节中不等式约束不能成立，如何扩展到线性不可分问题呢？这就需要修改硬间隔最大化，使其成为软间隔最大化。
• 通常情况下训练数据中有一些特异的点，将这些特异的点去处后，剩下的样本组成的集合是线性可分的。线性不可分的意思就是某些样本点不能满足函数间隔大于等于1的约束条件。为了解决这个问题，可以对每个样本点  引入一个松弛变量  ,使函数间隔加上加上松弛变量大于等于1，这样约束条件变为：

                                                                         

• 同时，对每个松弛变量  ，支付一个代价 ，目标函数由原来的 变为：

                                                                               

• 将约束项变形：；我们有：

                                                    

• 其中：，表示如果被正确分类，损失是0，否则损失就是 。
• 这里的C>0称为惩罚参数（权重），一般由应用问题决定，C值大时对误分类的惩罚增大，C值小时对误分类的惩罚减小。

                                                                

• 我们要求的目标函数的最小值，在引进松弛变量和惩罚参数有两个含义：
• ①使  尽量小，也就是间隔尽量大；
• ②同时使得松弛变量  尽量小，也就是误分类的点个数尽量小；

一、下面手推导具体的过程：

注意：惩罚因子C的补充解释：在这里讨论一下惩罚因子C,当C无穷大的时候，会发生什么呢？C无穷大的时候，还要最小化下面式子：

很显然需要下面这一项等于0：

也就是一个样本也不允许出错。所以说C越大，允许出错的样本越小，模型的复杂福越高，越容易过拟合，所以当SVM过拟合的时候，适当减小惩罚因子C,可以减小过拟合问题！

松弛变零的理解可以参考本文：SVM入门（八）松弛变量 ；下面如若有不对的地方还望指正。

二、综合整理所有：

尤其注意：L2-SVM的对偶形式和L1-SVM对偶形式的区别。

SVDD的对偶形式：

可以参考下：https://blog.csdn.net/wsp_1138886114/article/details/82459928