预备知识
1.假设a,
2.某条曲线在某点的梯度方向与该点的切线方向垂直;
常用概念
设某约束极值问题中的目标函数为f(x),约束条件为gi(x)≥0, hi(x)=0
1.非线性规划的一般形式
或者
2.起作用约束
设x∗为非线性规划的一个可行解,当点x∗不处在约束条件gi(x)≥0形成的可行域边界上,即gi(x∗)>0时,我们称该约束条件为点x∗的一个不起作用约束(无效约束),因为当我们对该点做微小的抖动的时候,并不会收到什么影响;而当点x∗在约束条件gi(x)≥0形成的可行域边界上时,即gi(x∗)=0时,我们称该约束条件为点x∗的一个起作用约束,因为当我们对该点做微小的抖动时,该点会收到约束条件的限制。
3.可行下降方向
可行方向
设x∗为非线性规划的一个可行解,D为该点的一个方向,若存在实数λ0>0 ,使得对任意的λ∈[0,λ0]均有X∗+λD∈R则称方向D为一个可行方向
可行方向的必要条件:若D 是可行点X∗处的任一可行方向,则对改点的所有起作用约束gi(X)≥0均有∇gi(X∗)TD≥0
可行方向的充分条件:如果可行点X∗的某一方向D满足条件∇gi(X∗)TD≥0 ,则该方向为该点的可行方向下降方向
设X∗为非线性规划的一个可行解,D为该点的一个方向,若存在实数λ‘>0 ,使得对任意λ∈[0,λ‘]均有f(X∗+λD)<f(X∗)就称方向D为X∗点的一个下降方向
注:当目标函数f(X)在X∗点的一阶泰勒展开满足:∇f(X∗)T<0的方向D比为点X∗ 的下降方向可行下降方向
如果方向D既是点X^*的可行方向,又是下降方向,则称该方向是该点的可行下降方向
注:如果某点存在可行下降方向,则该点必然不是极小值点,如果某点为极小值点,那么必然不存在可行下降方向;在寻找极小值点时,应该沿着其可行下降方向寻找
最优性条件(K-T条件)
假设
故对于点X∗如果有多个约束条件,那么必然有
如果我们要把所有的约束条件都加进来,即让gj(X∗)既包括起作用约束条件,又包括无效约束条件(前面的搜值是起作用约束条件),我们需要加如下条件:
从上条件我们可以看到,当gj(X)为X∗的一不起作用条件时,gj(X∗)>0,那么,要想保证λjgj(X∗)=0,我们只能让λj=0。由于上述条件的存在,从而使得在公式∇f(X∗)−∑j∈Jλj∇gj(X∗)=0中保证了不会出现不起作用条件。而当gj(X)为X∗的起作用条件时,λj可以为0也可以不为0
因此,我们可以得到最优性条件(K-T条件)如下:
满足这个条件的点被称为库恩-塔克点(K-T点)
当我们把等约束条件加入则有:
其中,λj与γi称为广义拉格朗日乘子
注:要保证极值点起作用约束的梯度线性无关,且对于大部分情况来说,该条件是该点为极值点的必要条件,但如果该问题为凸规划问题,那么该条件则为充要条件。因此当我们研究的优化问题为一个凸优化问题时,我们就可以通过K-T条件来求得极值点

被折叠的 条评论
为什么被折叠?



