SVM 之 问题的转化

接上一篇文章，接下来主要介绍在已经知道我们的目标为何物时应该怎么将问题转化成计算简单的等价问题，理论性比较强，其中涉及到的相关数学知识和概念，请看《SVM 之 基础》

 

 

3. SVM问题的转化

重复一遍SVM问题：

 

 

 

此时，SVM问题就转化为二次规划问题，但是可以看到我们的目标函数会随着x的维度增加和个数增加而变得异常复杂，所以需要将它转化为更加易于计算的形式。

首先，将问题写成Lagrange公式的形式：

 

 

它的对偶问题就是：

 

 

 

接下来，介绍一下怎么表示，该式子的意思是Lagrange方程的最优解。观察Lagrange方程，它的形式就是抛物线方程加上一个约束条件，所以是凸函数，那么L函数的极小值就是对w求偏倒为零的点。即L函数的解w*，满足。

 

 

将上式带入L方程，就得到了L关于w的最优解

 

 

我们再对b求偏导：

 

带入L关于w的最优解，就可以得到我们要求的 ，即L关于w和b的最优解：

 

 

根据KKT条件，使得上式最大化的w*和b*需要满足：

 

这个式子很有意思， 因为只在支持边界上的数据点才可以使得 ，所以对于绝大部分不再支持边界上的数据点来说，他们的参数 。相对于原问题这就大大降低了计算的复杂度。

 

总结下上面的内容，就是我们可以经过Lagrange函数的对偶式，将SVM的问题转化为：

 

 

更一般的，可以写成