我们在求解线性可分支持向量机的最优化问题,一般将它作为原始最优化问题,应用拉格朗日对偶性,通过求解对偶问题得到原始问题的最优解,这就是线性可分支持向量机的对偶算法。
之所以这样做,一是因为对偶问题往往更容易求解;二是自然引入核函数,进而推广到非线性分类的问题。
下面我们将简单讲解如何转化为对偶问题。
一、构建拉格朗日函数
待求解问题
min
(1.1)
s.t.
(1.2)
我们先引进拉格朗日乘子
,i = 1,...,n
拉格朗日函数
=
(1.3)
根据条件可知
,
所以
即,我们的问题通俗的解释为:求解L 函数的最小值,易知,L为参数为
的非负数。
问题写成:
求解步骤:
求
对
的极小,再求
对
的极大
二、求解过程
1、求
对
的极小
将拉格朗日函数
分别对
求偏导,并令其为0
将(2.1)~(2.2)代入(1.3)中得(2.3):(式子推导看注释即可)
(2.3)
注:推导前需要一些基础知识
下面是推导过程:
2、求
对
的极大
max
(2.4)
s.t.
(2.5)
,i = 1,...,n
因此,我们将该问题转化成对偶问题,将问题从求极大值转化为求极小值,得到的问题为:
min
(2.6)
s.t.
(2.7)
,i = 1,...,n
之后进行求解即可。