《数学基础》-4.凸优化-4.2.带约束优化

4.2.带约束优化

4.2.1.等式约束-拉格朗日乘子

经典拉格朗日乘子法是下面的优化问题（注：x是一个向量）

等式约束：

以二维函数f(x,y)为例，这里画出z=f(x,y)的等高线越往中心，越接近最小值（越往中心，越接近最小值）但是又有等式约束g(x)=0（下图的约束曲线是g(x,y)=c,当然也可以写成g(x,y)−c=0）

也就是说这个时候的极值点应该在曲线g(x,y)上，又要尽量接近等高线中心，所以等高线和曲线应该是相切的，就是切线方向是共线的，也就是法线方向也是共线的，（法线和切线是垂直的）。

那么等高线的法线怎么求？实际上就是某点的梯度。

证明如下：

假如二维函数是z=f(x,y)，那么某个等高线也就是z为某个常数c，可以写为：f(x,y)=c

曲线的切线方程为

由隐函数求导公式得

隐函数定理及求导公式如下

由于梯度可以用各个偏导排列组成的向量来表示：，其方向为：

用切线乘以梯度方向：

也就意味着梯度和切线是垂直关系。也就是说梯度方向和法线方向平行。

所以就有：

二维函数与约束函数的梯度要平行。（平行关系所以λ是正是负都可以）

由上述条件得：

若引进辅助函数

可得

，

函数称为拉格朗日函数，参数λ称为拉格朗日乘子

4.2.2.不等式约束

不等式约束问题：