预备知识
1.假设
a
,
2.某条曲线在某点的梯度方向与该点的切线方向垂直;
常用概念
设某约束极值问题中的目标函数为
f(x)
,约束条件为
gi(x)≥0
,
hi(x)=0
1.非线性规划的一般形式
或者
2.起作用约束
设
x∗
为非线性规划的一个可行解,当点
x∗
不处在约束条件
gi(x)≥0
形成的可行域边界上,即
gi(x∗)>0
时,我们称该约束条件为点
x∗
的一个不起作用约束(无效约束),因为当我们对该点做微小的抖动的时候,并不会收到什么影响;而当点
x∗
在约束条件
gi(x)≥0
形成的可行域边界上时,即
gi(x∗)=0
时,我们称该约束条件为点
x∗
的一个起作用约束,因为当我们对该点做微小的抖动时,该点会收到约束条件的限制。
3.可行下降方向
可行方向
设 x∗ 为非线性规划的一个可行解, D 为该点的一个方向,若存在实数λ0>0 ,使得对任意的 λ∈[0,λ0] 均有X∗+λD∈R则称方向 D 为一个可行方向
可行方向的必要条件:若D 是可行点 X∗ 处的任一可行方向,则对改点的所有起作用约束 gi(X)≥0 均有 ∇gi(X∗)TD≥0
可行方向的充分条件:如果可行点 X∗ 的某一方向 D 满足条件∇gi(X∗)TD≥0 ,则该方向为该点的可行方向下降方向
设 X∗ 为非线性规划的一个可行解, D 为该点的一个方向,若存在实数λ‘>0 ,使得对任意 λ∈[0,λ‘] 均有f(X∗+λD)<f(X∗)就称方向D为 X∗ 点的一个下降方向
注:当目标函数 f(X) 在 X∗ 点的一阶泰勒展开满足:∇f(X∗)T<0的方向 D 比为点X∗ 的下降方向可行下降方向
如果方向 D 既是点X^*的可行方向,又是下降方向,则称该方向是该点的可行下降方向
注:如果某点存在可行下降方向,则该点必然不是极小值点,如果某点为极小值点,那么必然不存在可行下降方向;在寻找极小值点时,应该沿着其可行下降方向寻找
最优性条件(K-T条件)
假设
故对于点 X∗ 如果有多个约束条件,那么必然有
如果我们要把所有的约束条件都加进来,即让 gj(X∗) 既包括起作用约束条件,又包括无效约束条件(前面的搜值是起作用约束条件),我们需要加如下条件:
从上条件我们可以看到,当 gj(X) 为 X∗ 的一不起作用条件时, gj(X∗)>0 ,那么,要想保证 λjgj(X∗)=0 ,我们只能让 λj=0 。由于上述条件的存在,从而使得在公式 ∇f(X∗)−∑j∈Jλj∇gj(X∗)=0 中保证了不会出现不起作用条件。而当 gj(X) 为 X∗ 的起作用条件时, λj 可以为0也可以不为0
因此,我们可以得到最优性条件(K-T条件)如下:
满足这个条件的点被称为库恩-塔克点(K-T点)
当我们把等约束条件加入则有:
其中, λj 与 γi 称为广义拉格朗日乘子
注:要保证极值点起作用约束的梯度线性无关,且对于大部分情况来说,该条件是该点为极值点的必要条件,但如果该问题为凸规划问题,那么该条件则为充要条件。因此当我们研究的优化问题为一个凸优化问题时,我们就可以通过K-T条件来求得极值点