4.2.带约束优化
4.2.1.等式约束-拉格朗日乘子
经典拉格朗日乘子法是下面的优化问题(注:x是一个向量)
等式约束:
以二维函数f(x,y)为例,这里画出z=f(x,y)的等高线越往中心,越接近最小值(越往中心,越接近最小值)但是又有等式约束g(x)=0(下图的约束曲线是g(x,y)=c,当然也可以写成g(x,y)−c=0)
也就是说这个时候的极值点应该在曲线g(x,y)上,又要尽量接近等高线中心,所以等高线和曲线应该是相切的,就是切线方向是共线的,也就是法线方向也是共线的,(法线和切线是垂直的)。
那么等高线的法线怎么求?实际上就是某点的梯度。
证明如下:
假如二维函数是z=f(x,y),那么某个等高线也就是z为某个常数c,可以写为:f(x,y)=c
曲线的切线方程为
由隐函数求导公式得
隐函数定理及求导公式如下
由于梯度可以用各个偏导排列组成的向量来表示:,其方向为:
用切线乘以梯度方向:
也就意味着梯度和切线是垂直关系。也就是说梯度方向和法线方向平行。
所以就有:
二维函数与约束函数的梯度要平行。(平行关系所以λ是正是负都可以)
由上述条件得:
若引进辅助函数
可得
,
函数称为拉格朗日函数,参数λ称为拉格朗日乘子
4.2.2.不等式约束
不等式约束问题: