【统计学习笔记】拉格朗日乘数法与约束最优化问题

1. 拉格朗日函数

先考虑一下问题：
$$当\varphi (x,y,z)=0时，求函数F(x,y,z)的极值。$$
设曲面$F(x,y,z)-u=0$，随着u的改变，当该曲面与曲面$\varphi (x,y,z)=0$相切时，u取极值。设切点为$(x_0,y_0,z_0)$。
两个曲面在切点处的法向量分别为：
$$\{\begin{array}{l}{\vec{n}}_1=(F_x,F_y,F_z)\\ {\vec{n}}_2=({\varphi }_x,{\varphi }_y,{\varphi }_z)\end{array}$$
要使两曲面相切，则法向量平行，故$(x_0,y_0,z_0)$满足：
$$\{\begin{array}{l}{F}_x(x_0,y_0,z_0)+\lambda {\varphi }_x(x_0,y_0,z_0)=0\\ F_y(x_0,y_0,z_0)+\lambda {\varphi }_y(x_0,y_0,z_0)=0\\ F_z(x_0,y_0,z_0)+\lambda {\varphi }_z(x_0,y_0,z_0)=0\end{array}\dots \dots (1)$$
因为$(x_0,y_0,z_0)$在曲面$\varphi (x,y,z)=0$上，所以其还满足等式：
$$\varphi (x_0,y_0,z_0)=0\dots \dots (2)$$
构造函数：
$$L(x,y,z,\lambda )=f(x,y,z)+\lambda \varphi (x,y,z)$$
(1)(2)两式等价于L的所有一阶偏导数为0，L称为拉格朗日函数。直接对拉格朗日函数求偏导计算条件极值称为拉格朗日数乘法。

2. 约束最优化问题

2.1 无约束最优化

$$\underset{x\in {\mathcal{R}}^n}{\min }f(x)$$
直接对x求导，即：
$${▽}_{x}f(x)=0$$

2.2 等式约束最优化

$$\{\begin{array}{l}\underset{x\in {\mathcal{R}}^n}{\min }f(x)\\ s.t.h_i(x)=0，i=1,2,\dots ,l\end{array}$$
利用拉格朗日数乘法求解：
$$L(x,\lambda )=f(x)+\sum _{i=1}^l{\lambda }_i{h}_i(x)$$
即求解方程：
$$\{\begin{array}{l}\frac{\partial L}{\partial x}=0\\ h_i(x)=0，i=1,2,\dots ,l\end{array}$$

2.3 不等式约束最优化

$$\{\begin{array}{l}\underset{x\in {\mathcal{R}}^n}{\min }f(x)\\ s.t.c_j\le 0，i=1,2,\dots ,k\\ h_j(x)=0，j=1,2,\dots ,l\end{array}$$
构建广义拉格朗日函数：
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^k{\lambda }_i{c}_i(x)+\sum _{j=1}^l{\mu }_j{h}_j(x)$$
定义拉格朗日对偶函数：
$$\begin{gathered} g(\lambda ,\mu )=\underset{x}{\min }L(x,\lambda ,\mu ) \\ =\underset{x}{\min }(f(x)+\sum _{i=1}^k{\lambda }_i{c}_i(x)+\sum _{j=1}^l{\mu }_j{h}_j(x))\lambda \ge 0 \end{gathered}$$
可以证明，拉格朗日对偶函数一定是凹函数。故L的最值p^*永远大于等于g。即：
$$g(\lambda ,\mu )\le L(x,\lambda ,\mu )\le q^{\ast }$$
这样，我们可以由对偶函数给出一个尽可能逼近q^*的值，即：
$$\underset{\lambda ,\mu }{\max }g(\lambda ,\mu )(s.t.\lambda \ge 0)$$
最终，我们可以给出原问题的对偶形式：
$$\{\begin{array}{l}\underset{\lambda ,\mu }{\max }\underset{x}{\min }L(x,\lambda ,\mu )\\ s.t.{\lambda }_i\ge 0i=1,2,\dots ,k\end{array}$$