图解拉格朗日乘子法和KKT条件

图解拉格朗日乘子法和KKT条件

文档的图片基本上都来自下面两个链接的内容：

如何理解拉格朗日乘子法？https://www.matongxue.com/madocs/939.html

如何理解拉格朗日乘子法和KKT条件？https://www.matongxue.com/madocs/987/

因为人家画的图实在太好了，我都懒得自己造轮子了。

引入例子

求曲线到坐标原点的最短距离。

假如有方程：
$$x^{2}y=3\text{\hspace{1em}(1)}$$
它的曲线如下图：

现在我们想求曲线上的点到坐标原点的最短距离：

比较容易想到的一个方法是，画个半径为$a$的圆，然后逐渐扩大圆的半径：

直到第一次与曲线$x^{2}y=3$相交，那么这个相交的点（下图紫点）就是曲线$x^{2}y=3$上距离原点最近的点：

把问题用数学表示就是：
$$\begin{array}{rl}& \min f(x,y)=x^2+y^2\\ s.& t.h(x,y)=x^{2}y-3=0\end{array}\text{\hspace{1em}(2)}$$
s.t.是subject to的缩写，表示“服从于、约束于”。

在相交点处，圆和曲线是相切的，即在该点处圆和曲线的切线（下面的绿线）相同：

至此，我们得出结论：在极值点处，圆与曲线相切。

接下来，需要引入等高线的概念，等高线就是函数值相等的输入点连成的曲线。

上面的同心圆（颜色深浅表示函数值的大小，颜色越深函数值越大），就是函数$f(x,y)=x^2+y^2$的等高线：

根据梯度的性质（梯度是函数在某一点处变化最大的方向），梯度向量：

$$\nabla f=\left[\begin{array}{r}\frac{\partial f}{\partial x}\\ \frac{\partial f}{\partial y}\end{array}\right]=\left[\begin{array}{r}2x\\ 2y\end{array}\right]\text{\hspace{1em}(3)}$$
是等高线的法线，它与等高线的切线方向垂直：

函数$h(x,y)=x^{2}y-3$的等高线为：

它的梯度向量是：

$$\nabla h=\left[\begin{array}{r}\frac{\partial h}{\partial x}\\ \frac{\partial h}{\partial y}\end{array}\right]=\left[\begin{array}{r}2xy\\ x^2\end{array}\right]\text{\hspace{1em}(4)}$$
也垂直于等高线$x^{2}y=3$的切线：

由上可知：梯度与等高线的切线垂直。

结合两个分析结论：
$$\{\begin{array}{r}在极值点处圆与曲线相切\\ 梯度与等高线的切线垂直\end{array}$$
可知，在相切点处，圆的梯度向量和曲线的梯度向量平行：

用数学符号表示为：
$$\nabla f=\mu \nabla h\text{\hspace{1em}(5)}$$

其中，$\mu$是非零常数。

从图反应出来，圆的梯度向量$\nabla f$和曲线的梯度向量$\nabla h$应该是同向的，那么$\mu$不应该是正数吗？

这是因为$h=0$和$-h=0$是等效的，所以$\nabla h$的方向可正可负，这样的话只要保证$\nabla f$和$\nabla h$是平行就可以了，也就是$\mu$为非零常数。

求极值点，还必须引入$x^{2}y=3$这个条件，否则这么多等高线，不知道具体指的是哪一根：

因此，联立方程：

$$\begin{array}{r}\{\begin{array}{rl}& \nabla f=\mu \nabla h\\ & x^{2}y=3\end{array}\Rightarrow \{\begin{array}{rl}& \frac{\partial f}{\partial x}=\mu \frac{\partial h}{\partial x}\\ & \frac{\partial f}{\partial y}=\mu \frac{\partial h}{\partial y}\\ & x^{2}y=3\end{array}\end{array}\Rightarrow \{\begin{array}{rl}2x& =\mu \cdot 2xy\\ 2y& =\mu \cdot x^2\\ x^{2}y& =3\end{array}\text{\hspace{1em}(6)}$$

上面的方程组有一种更常见的形式：

令
$$F(x,y,\mu )=f(x,y)+\mu h(x,y)\text{\hspace{1em}(7)}$$
对函数$F$求极值，也就是求偏导并等于0：
$$\begin{gathered} \nabla F=\left[\begin{array}{c}\frac{\partial F}{\partial x}\\ \frac{\partial F}{\partial y}\\ \frac{\partial F}{\partial \mu }\end{array}\right]=\left[\begin{array}{c}\frac{\partial f}{\partial x}+\mu \frac{\partial h}{\partial x}\\ \frac{\partial f}{\partial y}+\mu \frac{\partial h}{\partial y}\\ h(x,y)\end{array}\right]=\left[\begin{array}{c}2x+\mu \cdot 2xy\\ 2y+\mu \cdot x^2\\ x^{2}y-3\end{array}\right]=0 \\ \Rightarrow \{\begin{array}{rl}2x& =-\mu \cdot 2xy\\ 2y& =-\mu \cdot x^2\\ x^{2}y& =3\end{array}\text{\hspace{1em}(8)} \end{gathered}$$
虽然上式系数是$-\mu$，但由于$\mu$的正负对结果没有影响，所以$\nabla F=0$和式(6)是等效的。

求解上面方程组可以得到极小值点$(x^{\ast },y^{\ast })$：
$$\{\begin{array}{rl}{x}^{\ast }& \approx \pm 1.61\\ y^{\ast }& \approx 1.1\\ {\mu }^{\ast }& \approx 0.87\end{array}\text{\hspace{1em}(9)}$$
这个例子的求解过程体现了拉格朗日乘子法的思想：将有约束的优化问题转化为求解无约束的函数$F$的极值。这个函数$F$称为拉格朗日乘子式。

如果$(x^{\ast },y^{\ast })$是优化问题极值点，那么它必须满足：

存在${\mu }^{\ast }$，使得
{ ∇ f ( x ∗ , y ∗ ) + μ ∗ ∇ h ( x ∗ , y ∗ ) = 0