有约束优化问题-拉格朗日乘子法

经典拉格朗日乘子法（约束条件为等式）

$$\underset{x}{\min }{f}_{(\mathbf{x})}\text{s.t.}{g}_{(\mathbf{x})}=0$$
此处$\mathbf{x}$是一个向量。
如下图，以二元函数举例：
由图可以看出，只需要使$f_{(x,y)}=d$与$g_{(x,y)}=0$相切即可，也就是使这两条线的梯度方向（法线方向）共线。
即：
$$\{\begin{array}{l}▽f_{(\mathbf{x})}=\lambda ▽g_{(\mathbf{x})}\\ g_{(\mathbf{x})}=0\end{array}$$
这时引入拉格朗日函数：
$$L_{(\mathbf{x},\lambda )}=f_{(\mathbf{x})}-\lambda g_{(\mathbf{x})}$$
可以发现，对拉格朗日函数求偏导可以得到以上方程组。

约束条件不为等式

$$\underset{x}{\min }{f}_{(\mathbf{x})}\text{s.t.}{g}_{(\mathbf{x})}\le 0$$

与经典拉格朗日乘子法相同，最优点仍需要满足
$$▽f_{(x^{\ast },y^{\ast })}=\lambda ▽g_{(x^{\ast },y^{\ast })}$$
引入$KKT$条件：
$$\lambda g_{(x^{\ast },y^{\ast })}=0$$
那么，如果$g_{(x^{\ast },y^{\ast })}<0$，则$\lambda =0$。这说明，若$g_{(x^{\ast },y^{\ast })}$一定小于0，则这个约束条件并不起作用，故$\lambda =0$。
用$\mathbf{x}$代替$(x,y)$，并引入拉格朗日函数：
$$L_{(\mathbf{x},\lambda )}=f_{(\mathbf{x})}-\lambda g_{(\mathbf{x})}$$
同样对$\mathbf{x}$求偏导并令其为0得到$▽f_{(\mathbf{x})}=\lambda ▽g_{(\mathbf{x})}$，但不对$\lambda$求偏导，而是直接带入$KKT$条件。得到：
$$\{\begin{array}{l}▽f_{(\mathbf{x})}=\lambda ▽g_{(\mathbf{x})}\\ \lambda g_{(\mathbf{x})}=0\end{array}$$
对于多约束条件的情况，即：

$$\{\begin{array}{l}\underset{x}{\min }{f}_{(\mathbf{x})}\\ g_{i(\mathbf{x})}\ge 0(i=1,2\dots \dots ,n)\end{array}$$
令$L_{(\mathbf{x},{\lambda }_1,{\lambda }_2\dots \dots ,{\lambda }_n)}=f_{(\mathbf{x})}-{\sum }_{i=1}^n{\lambda }_i{g}_{i(x)}$
则需满足：
$$\{\begin{array}{l}▽f_{(\mathbf{x})}={\sum }_{i=1}^n{\lambda }_i▽g_{i(x)}\\ {\lambda }_i{g}_{i(\mathbf{x})}=0(KKT条件)\end{array}$$
为保证两条相切直线梯度是相反的方向，需要满足${\lambda }_i\ge 0$。
例题：

求得
$$\{\begin{array}{l}{x}_1=1\\ x_2=2\\ {\gamma }_1=1\\ {\gamma }_2=0\end{array}$$
这说明第二个约束条件在此问题中不起作用，将$(1,2)$带入两个约束条件知第一个约束条件正好取等号，而第二个约束条件是一定满足的。