【机器学习】拉格朗日对偶性
@(Machine Learning)
学习SVM的时候,解决最优化问题需要应用到拉格朗日对偶性,现在总结下相关概念。
Reference:
《统计学习方法》 附录C_拉格朗日对偶性 李航
本文完全根据该附录总结,内容基本一致,有条件的请阅读该附录原版。
原始问题
引入广义拉格朗日函数:
考虑将之最大化:
如果给定x,x违反原始问题的约束条件:
有:
原因不难,如下:
如果x违反条件,
则存在某个ci(x)> 0,令ai->+∞,最大可得+∞;
或存在某个hj(x)!= 0,令βjhj(x)->+∞,最大可得+∞。
如果x满足条件,则
综上有:
为了使x满足条件,我们最小化该函数。
容易得到该函数和原始最优化问题是等价的。
我们称这个问题为广义拉格朗日函数的极小极大问题。
对偶问题
定义:
上述问题称为广义拉格朗日函数的极大极小问题。
表示为约束最优化问题:
该问题称为原始问题的对偶问题。
原始问题与对偶问题的关系
定义原始问题的最优值:
定义对偶问题的最优值:
有如下定理:
意思是:对偶问题的最优值小于等于原始问题的最优值。
意思是:某些条件下,原始问题和对偶问题最优值相等,这时候可以用解对偶问题替代原始问题。
可得下面定理:
最后得出最重要的定理,证明不展开:
简单来说就是如果我们想要通过对偶问题得到原始问题的解,需要满足KKT条件。