Andrew Ng - SVM【2】一步步迈向核函数
1. 拉格朗日对偶规划
暂且撇开SVM和最大间隔分类器不管(当然不是真的不管),我们先来讨论一个在一定约束条件下的优化问题:
minωf(ω)s.t.hi(ω)=0,i=1,...,l
则该问题对应的拉格朗日函数为:
L(ω,β)=f(ω)+∑li=1βihi(ω)
βi 我们叫做拉格朗日乘数,接着我们令 L 偏导为零:
∂L∂ωi=0;∂L∂βi=0,
便可以求出 ω 和 β 。
对于更一般化的约束问题,除了等式约束条件以外,我们还要加入不等式约束条件,称之为 原问题,表达式如下:
minωf(ω)s.t.gi(ω)≤0,i=1,...,k hi(ω)=0,i=1,...,l
该问题对应的拉格朗日函数为:
L(ω,α,β)=f(ω)+∑ki=1αigi(ω)+∑li=1βihi(ω)
αi 和 βi 我们叫做拉格朗日乘数,假设有如下等式:
θP(ω)=maxα,β:αi≥0L(ω,α,β).
这里下标 P 用来指代原优化问题。给定一些 ω ,如果 ω 违反了拉格朗日的任意约束条件(存在 gi(ω)>0 或者 hi(ω)≠0 ), θP(ω)=∞ ;相反,如果所有约束条件满足,则 θP(ω)=f(ω) 。因此:
θP(ω)={