机器学习中的数学——拉格朗日乘子法（一）：等式约束的拉格朗日乘子法

分类目录：《机器学习中的数学》总目录
相关文章：
·拉格朗日乘子法（一）：等式约束的拉格朗日乘子法
·拉格朗日乘子法（二）：不等式约束与KKT条件

---

拉格朗日乘子法是一种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可将有$d$个变量与$k$个约束条件的最优化问题转化为具有$d+k$个变量的无约束优化问题求解。即对于：
$$\begin{array}{rl}\min & f(x)\\ \text{s.t.}& g_i(x)=0,i=1,2,\cdots ,k\end{array}$$我们定义拉格朗日函数：
$$L(x,\lambda )=f(x)+{\lambda }_i{g}_i(x)$$
我们即可将原优化问题转化为：
$$\begin{array}{rl}{\nabla }_{X}L(x,\lambda )& =\nabla f+{\lambda }_i\nabla g_k=0\\ {\nabla }_{\lambda }L(x,\lambda )& =g(x)=0\end{array}$$

先考虑一个等式约束的优化问题。假定$x$为$d$维向量，欲寻找$x$的某个取值$x^{\ast }$，使目标函数$f(x)$最小且同时满足$g(x)=0$的约束。从几何角度看，该问题的目标是在由方程$g(x)=0$确定的$d-1$维曲面上寻找能使目标函数$f(x)$最小化的点。此时可以得到如下结论：

• 对于约束曲面上的任意点$x$，该点的梯度$\nabla g(x)$正交于约束曲面
• 在最优点$x^{\ast }$，目标函数在该点的梯度$\nabla f(x^{\ast })$正交于约束曲面

由此可知，在最优点$x^{\ast }$，如下图所示，梯度$\nabla g(x)$和$\nabla f(x^{\ast })$的方向必相同或相反，即存在$\lambda \ne 0$使得：
$$\nabla f(x^{\ast })+\lambda \nabla g(x^{\ast })=0$$
$\lambda$称为拉格朗日乘子，我们定义拉格朗日函
$$L(x,\lambda )=f(x)+\lambda g(x)$$
不难发现，将其对$x$的偏导数${\nabla }_{x}L(x,\lambda )$置零即得上式。同时，将其对入的偏导数${\nabla }_{\lambda }L(x,\lambda )$置零即得约束条件$g(x)=0$。

于是，原约束优化问题可转化为对拉格朗日函数$L(x,\lambda )$的无约束优化问题。

现在我们以一个常见的例子来考虑拉格朗日乘子法。假设$x$为2维向量，且：
$$g(x)=x_1^2{x}_2-3=0$$
现在我们想求其上的点与原点的最短距离，即：
$$\min f(x)=x_1^2+x_2^2$$
此时，圆（$f(x)$）和曲线（$g(x)$）相切，也就是在该点切线相同：

此时$f$梯度：
$$\begin{gathered} \nabla f_{x_1}=2x_1 \\ \nabla f_{x_2}=2x_2 \end{gathered}$$
此时$g$梯度：
$$\begin{array}{rl}& \nabla g_{x_1}=2x_1{x}_2\\ & \nabla g_{x_2}=x_1^2\end{array}$$

梯度向量平行，我们可以写为：
$$\nabla f=\lambda \nabla g$$

所以我们可得：
$$\begin{array}{rl}\nabla f& =\lambda \nabla g\\ g(x)& =x_1^2{x}_2-3=0\end{array}$$
我们构造拉格朗日函数：
$$L(x,\lambda )=f(x)+\lambda g(x)$$
并利用拉格朗日乘子法即可得到与上式相同的等式：
$$\begin{array}{rl}{\nabla }_{X}L(x,\lambda )& =\nabla f+\lambda \nabla g=0\\ {\nabla }_{\lambda }L(x,\lambda )& =g(x)=x_1^2{x}_2-3=0\end{array}$$