对于如下约束的求最小值,我们称为原始优化问题
minwf(w)
s.t.gi(w)≤0,i=1,2,...,k
hi(w)=0,i=1,2,...,l
定义拉格朗日算符
L(w,α,β)=f(w)+∑ki=1αigi(w)+∑li=1βihi(w)
令
θP=maxα,β:αi≥0f(w)+∑ki=1αigi(w)+∑li=1βihi(w)
故有
minwθP(w)=minwmaxα,β:αi≥0L(w,α,β)
根据 θP(w) 的定义,易知w满足约束时,有 θP=f(w)
令
θD(α,β)=minwL(w,α,β)
即有
maxα,β:αi≥0θD(α,β)=maxα,β:αi≥0minwL(w,α,β)
通过证明可以得到
d∗=maxα,β:αi≥0minwL(w,α,β)≤minwmaxα,β:αi≥0L(w,α,β)=p∗
在确定的情况下,有 d∗=p∗
参考资料:
Stanford CS229《Machine learning》