详解SVM系列(二):拉格朗日对偶性

拉格朗日函数有什么用?
在约束最优化问题中,常常利用拉格朗日对偶性将原始问题转换为对偶问题,通过解对偶问题而得到原始问题的解。
原始问题:
假设 f ( x ) , C i ( x ) , h j ( x ) f(x),C_i(x),h_j(x) f(x),Ci(x),hj(x)是定义在 R n R^n Rn上的连续可微函数,考虑约束最优化问题:
m i n f ( x ) , x ∈ R n minf(x),x∈R^n minf(x)xRn
s . t . c i ( x ) ≤ 0 , i = 1 , 2 … … k s.t.c_i(x)≤0,i=1,2……k s.t.ci(x)0,i=1,2k
h j ( x ) = 0 , j = 1 , 2 … … l h_j(x)=0,j=1,2……l hj(x)=0,j=1,2l
称为约束最优化问题的原始问题。

现在如果不考虑约束条件,原始问题就是: m i n f ( x ) , x ∈ R n minf(x),x∈R^n minf(x)xRn因为 f ( x ) f(x) f(x)是连续可微分的,对 f ( x ) f(x) f(x)求导数,然后令 f ′ ( x ) = 0 f'(x)=0 f(x)=0,就可以求出最优解。

但是现在是有约束的,求解 f ′ ( x ) = 0 f'(x)=0 f(x)=0的解有可能是不在定义域的,所以需要想办法将有约束优化问题转换为无约束最优化问题。

广义的拉格朗日函数可以将有约束最优化转换为无约束最优化问题。
广义的拉格朗日函数:
L ( x , α , β ) = f ( x ) + ∑ i = 0 k α i c i ( x ) + ∑ j = 1 l β j h j ( x ) L(x,α,β)=f(x)+\displaystyle\sum_{i=0}^{k}α_ic_i(x)+\displaystyle\sum_{j=1}^{l}β_jh_j(x) L(x,α,β)=f(x)+i=0kαici(x)+j=1lβjhj(x)
其中 x = ( x ( 1 ) , x ( 2 ) , … … x ( n ) ) , α i , β j x=(x^{(1)},x^{(2)},……x^{(n)}),α_i,β_j x=(x(1)x(2)x<

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值