KKT条件。用于解决不等式优化问题提出的条件。
https://www.zhihu.com/collection/164818780
目标优化函数:minf(x),约束条件为g(x)<=0:
根据KKT条件,原问题转化为:
{
L(x, u) = f(x)+u*g(x)
u>=0
}
根据拉格朗日乘数法解得(KKT条件列表如下):
{
af(x)/a(x)+u*(ag(x)/a(x))=0
u*g(x)=0 //与常规等式约束不同的,在于此公式的存在。
u>=0
}
拉格朗日对偶性以及SVM的对偶问题:
首先:将L(x,u)转化为广义拉格朗日的极大值极小值问题:
其中
{
min f(x),g(x)<=0
L(x,u) = f(x) + u*g(x)
}
当max(u>=0,u)L(x,u) =f(x)
则原问题min(x)f(x) (等价于)min(x)max(u>=0,u)L(x, u)
根据已知推论: max(u>=0,u) min(x) L(x,u)<=min(x)max(u>=0,u)L(x, u)
当 约束条件g(x)为凸函数时候,上式两端相等,所以min-max可以转化为max-min问题的求解。
这就是对偶问题的转化。地址:http://blog.csdn.net/lcj1105/article/details/50053499