最优化问题分为三种情况:
1、无约束问题
y = f(x),直接求解即可。
2、等式约束条件
设目标函数为f(x),有k个等式约束条件h(x),等式约束条件有k个系数为λk,使用拉格朗日函数法求最优解。构造拉格朗日函数:
对变量求偏导,可以得到k+1个方程,方程组的解就是函数极值。
3、不等式约束条件
设目标函数为f(x),有j个等式约束条件h(x),等式约束条件有j个系数为λk,有k个不等式约束条件,不等式约束条件有k个系数Uk,使用拉格朗日函数法求最优解。构造拉格朗日函数:
若要求解此问题,需要满足的条件就是KKT条件:
KKT条件是使一组解成为最优解的必要条件,凸问题中的KKT条件也是充分条件。