支持向量机算法_支持向量机——学习的对偶算法

我们在求解线性可分支持向量机的最优化问题，一般将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是线性可分支持向量机的对偶算法。

之所以这样做，一是因为对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类的问题。

下面我们将简单讲解如何转化为对偶问题。

一、构建拉格朗日函数

待求解问题

min

(1.1)

s.t.

(1.2)

我们先引进拉格朗日乘子

,i = 1,...,n

拉格朗日函数

=

(1.3)

根据条件可知

，

所以

即，我们的问题通俗的解释为：求解L 函数的最小值，易知，L为参数为

的非负数。

问题写成：

求解步骤：

求

对

的极小，再求

对

的极大

二、求解过程

1、求

对

的极小

将拉格朗日函数

分别对

求偏导，并令其为0

(2.1)

(2.2)

将(2.1)~(2.2)代入(1.3)中得(2.3)：（式子推导看注释即可）

(2.3)

注：推导前需要一些基础知识

下面是推导过程：

2、求

对

的极大

max

(2.4)

s.t.

(2.5)

,i = 1,...,n

因此，我们将该问题转化成对偶问题，将问题从求极大值转化为求极小值，得到的问题为：

min

(2.6)

s.t.

(2.7)

,i = 1,...,n

之后进行求解即可。