约束极值问题/非线性规划问题

预备知识

1.假设a,b为两个向量,则ab=|a||b|cosθ,其中θ为向量ab的夹角。因此,当向量a,b的点乘为正数时,其几何意义是这两向量的夹角小于90度,为负数,夹角大于90度,为0,夹角等于90度;
2.某条曲线在某点的梯度方向与该点的切线方向垂直;

常用概念

设某约束极值问题中的目标函数为f(x),约束条件为gi(x)0hi(x)=0
1.非线性规划的一般形式

minf(x)hi(x)=0,gi(x)0,i=1,2,L,mj=1,2,L,l

或者
{minf(x)gj(x)0,j=1,2,L,l

2.起作用约束
x为非线性规划的一个可行解,当点x不处在约束条件gi(x)0形成的可行域边界上,即gi(x)>0时,我们称该约束条件为点x的一个不起作用约束(无效约束),因为当我们对该点做微小的抖动的时候,并不会收到什么影响;而当点x在约束条件gi(x)0形成的可行域边界上时,即gi(x)=0时,我们称该约束条件为点x的一个起作用约束,因为当我们对该点做微小的抖动时,该点会收到约束条件的限制。

3.可行下降方向

  • 可行方向
    x为非线性规划的一个可行解,D为该点的一个方向,若存在实数λ0>0,使得对任意的λ[0,λ0]均有

    X+λDR
    则称方向D为一个可行方向
    可行方向的必要条件:D是可行点X处的任一可行方向,则对改点的所有起作用约束gi(X)0均有gi(X)TD0
    可行方向的充分条件:如果可行点X的某一方向D满足条件gi(X)TD0,则该方向为该点的可行方向
  • 下降方向
    X为非线性规划的一个可行解,D为该点的一个方向,若存在实数λ>0,使得对任意λ[0,λ]均有

    f(X+λD)<f(X)
    就称方向D为X点的一个下降方向
    注:当目标函数f(X)X点的一阶泰勒展开满足:
    f(X)T<0
    的方向D比为点X的下降方向
  • 可行下降方向
    如果方向D既是点X^*的可行方向,又是下降方向,则称该方向是该点的可行下降方向
    注:如果某点存在可行下降方向,则该点必然不是极小值点,如果某点为极小值点,那么必然不存在可行下降方向;在寻找极小值点时,应该沿着其可行下降方向寻找

最优性条件(K-T条件)

假设X为目标函数f(X)的一个极小值点,且该点位于第一个约束条件形成的可行域边界上,那么必有g1(X)=0f(X)在同一条直线上且方向相反,否则,该点就必然存在可行下降方向。那么必然存在实数λ10,使得

f(X)λ1g1(X)=0
成立
故对于点X如果有多个约束条件,那么必然有
f(X)jJλjgj(X)=0
成立
如果我们要把所有的约束条件都加进来,即让gj(X)既包括起作用约束条件,又包括无效约束条件(前面的搜值是起作用约束条件),我们需要加如下条件:
{λjgj(X)=0λj0

从上条件我们可以看到,当gj(X)X的一不起作用条件时,gj(X)>0,那么,要想保证λjgj(X)=0,我们只能让λj=0。由于上述条件的存在,从而使得在公式f(X)jJλjgj(X)=0中保证了不会出现不起作用条件。而当gj(X)X的起作用条件时,λj可以为0也可以不为0
因此,我们可以得到最优性条件(K-T条件)如下:
f(X)jJλjgj(X)=0λjgj(X)=0λj0

满足这个条件的点被称为库恩-塔克点(K-T点)
当我们把等约束条件加入则有:
f(X)iIγihi(X)jJλjgj(X)=0λjgj(X)=0λj0

其中,λjγi称为广义拉格朗日乘子
注:要保证极值点起作用约束的梯度线性无关,且对于大部分情况来说,该条件是该点为极值点的必要条件,但如果该问题为凸规划问题,那么该条件则为充要条件。因此当我们研究的优化问题为一个凸优化问题时,我们就可以通过K-T条件来求得极值点
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值