支持向量机优化问题思路

昨天看完了支持向量机的部分，今天刚好可以总结一下：
支持向量机优化问题和求解方法的整个推到思路，可以分为以下几个关键步骤：
首先用松弛变量将线性可分的支持向量机扩展到线性不可分的支持向量机；
然后用拉格朗日对偶将原问题转换问对偶问题；
接下来通过加入核函数将模型转化为非线性模型；
最后用SMO算法求解对偶问题。
这里包含关键的两部分：工作集的选择依据KKT条件，子问题的求解直接采用公式计算二次函数的极值。理解支持向量机的关键是理解拉格朗日对偶和KKT条件。
另，KKT条件：
对于带等式约束的最优化问题可以有用拉格朗日乘数法求解，对于既有等式约束又有不等式约束的问题，也有类似的条件定义函数的最优解，即KKT条件，它可以看做拉格朗日乘数法的扩展。对于如下优化问题：
minf(x)
gi(x)<=0，i=1,2,3,…,p
hi(x)=0，i=1,2,3,…,q
和拉格朗日对偶的做法类似，KKT条件构成如下乘子函数：

λ，μ称为KKT乘子。在最优解处x应该满足如下条件：

等式约束hj(x)=0和不等式约束gk(x*)<=0是本身应该满足的条件，▽xL(x*)=0和之前的拉格朗日乘数法一样。唯一多了关于gi(x)的条件：

可以分为两种情况讨论。如果

要满足 的条件，那么必须有 。如果

则uk的取值自由，只要满足大于或等于0即可，此时极值在边界点取得。需要注意的是，KKT条件只是取得极值的必要条件而不是充分条件。
其中：f(x)为目标函数，g(x)是f(x)的不等式约束条件的凸函数，等式约束条件h(x)是防射函数。
防射函数定义为：deg(h(x))=1的函数，常数项为0的防射函数为线性函数。
其中deg()表示为多项式h(x)的次数。