
在原始问题中,原始优化函数
这里为了方便理解,我们先说等式约束,如下图slide中所示,我们不妨假设f(x)是三维空间的一个函数,其中平面上的坐标系是

等式约束的几何效果相等于用一个平面切圆锥体,这时候
我们一般把函数的梯度方向记为函数值变大的方向,在下图所示的情况中,同心圆等高线在切点处的梯度方向与曲线在切点处的梯度方向在一条直线上(方向相同或者相反)。这样我们就可以定义

对于不等式约束,这里分两种情况讨论:
- 当不等式的可行域不包含
无约束时的极小值点时,这时候优化函数与不等式约束的梯度方向相反,所以
- 当不等式的可行域包含f(x)无约束时的极小值点时,这时候不等式约束不起作用,所以


综上,在拉格朗日函数中:不等式约束的系数
到这里,我们同时可以给出KKT条件中的两个重要的条件,分别是KKT互补条件和不等式约束的系数

这样KKT条件中全部需要的条件已经得到:

参考资料:等式约束与不等式约束问题_Sonnet-CSDN博客_等式约束blog.csdn.net
