SVM算法

一.  拉格朗日乘子法 和 KKT条件

最优化问题分类:

拉格朗日乘子法:

拉格朗日乘子法的分析推导:  https://blog.csdn.net/hao5335156/article/details/82320082

如何理解拉格朗日乘子法: https://www.matongxue.com/madocs/939/

KKT条件: (后期还得好好整理)

初始问题:

 

转化为等价的对偶问题

如何理解KKT条件: https://www.matongxue.com/madocs/987/

拉格朗日乘子法--KKT条件的推导: https://blog.csdn.net/hao5335156/article/details/82354233

拉格朗日乘子法--对偶问题:  https://blog.csdn.net/hao5335156/article/details/82356501

松弛约束条件的由来: https://blog.csdn.net/johnnyconstantine/article/details/46335763

直观的解释可以这么看:要求得L(x,λ,u)的最小值一定是三个公式项中取得最小值，此时第三项最小就是等于0值的时候。稍微正式一点的解释，是由松弛变量推导而来。

 

二. 线性可分SVM 

1.初始问题:

svm模型是让所有分类点在各自类别的支持向量的两边,同时要求要求支持向量尽可能的原理该超平面, 数学公式:

将目标函数和约束条件通过KKT条件转化为拉格朗日函数,从而转化为无约束的优化函数

 

 

将对w,b的偏导结果带入 计算得到:

 

分析上式,待优化的函数至于β相关, 可以利用SMO算法求得最优解β*.  假设存在最优解β*, 根据w,b,β* 的关系可以计算出w,b

最终得到构建的分类器: 

线性可分SVM总结: 存线性可分SVM模型(硬间隔)要求数据必须是线性可分的, 如果存在异常点数据就不能线性可分了, 就需要SVM软间隔模型来解决. 

硬间隔的条件: 

软间隔的条件: 

三. SVM软间隔模型

1.定义: 

目标函数:  (函数中超参数C>0是惩罚系数,C越大表示对错误分类的惩罚越大,C值需要通过调参获得)

根据KKT条件构造拉格朗日函数:

 

得到只有β的优化函数:

分析上式,待优化的函数至于β相关, 可以利用SMO算法求得最优解β*.  假设存在最优解β*, 根据w,b,β* 的关系可以计算出w,b

最终得到构建的分类器: 

软间隔SVM模型总结: 通过引入惩罚项系数,增强了模型的泛化能力,解决了线性可分的数据中携带异常点的分类模型构建问题.

惩罚项系数越小, 表示在模型构建过程中允许存在越多的分类出错的样本, 也就表示模型的准确率越低.

四. 非线性可分SVM模型

对于非线性可分的数据,可以将数据由低维扩展到高维,从而将数据变成线性可分的, 如果原始数据是n维的, 映射到高维(次数提高一次) 得到n(n+3)/2 维的数据,映射到高维会使计算量变得很大.为此引入核函数的概念: 

核函数的作用: (1)  将不可分的低维数据,扩展成可分的高维数据

                        (2) K(x,z) 用低维空间的计算结果来近似高维空间的结果,降低计算量.

核函数的分类:

其中高斯核函数的证明:   还有疑问: 

向量乘积的n次方 不等于 向量的n次方的乘积 下面的公式是怎么成立的??这里面的计算不对,

(a*b)^2=|a|^2*|b|^2*cos(Q)^2 != |a|^2*|b|^2

https://blog.csdn.net/u010551462/article/details/41748807 

https://blog.csdn.net/wuyanxue/article/details/79642758

 

五. SMO(序列最小优化函数)算法计算β*

1. SMO算法流程总结:

 

 

2. 分析问题.

目标函数是 :

假定存在最优解β*, 从而得出相应的w, b,以及分离超平面: 

拉格朗日对偶化要求的两个限制的初始条件为:

         

由KKT的对偶互补条件得出:最优的分隔超平面 必须满足下列的目标条件:

解决问题的思路:

优化β值过程中需要遵守的两个基本原则:

3. SMO算法具体流程

(1)目标函数: 

(2)需要满足的两个条件: 拉格朗日对偶化要求的两个限制的初始条件 和 由KKT的对偶互补条件得出:最优的分隔超平面 必须满足下列的目标条件:

 

(3) 选取两个 β1,β2 作为变量,其他βi作为常量, 下式是关于β1,β2 的二元方程组,

      (3.1) 选取β1: 选取支持向量中违反KKT条件严重的样本点,如果支持向量都满足KKT条件,则可以选其他样本点

      (3.2) 选取β2: 参考β1 选择能让|E1-E2| 尽可能大的样本点

用β2表示β1, 就得到关于β2的表达式,

可以通过 求表达式取最小值时的 β2, 考虑βi的取值限定范围后,得到迭代过程中 β2的最优解: 

根据β1和β2的关系得到迭代过程中 β1的值:

(4) 完成每轮两个β变量的更新后,需要重新计算阈值b 和 差值Ei