不等式约束的拉格朗日乘数法简要说明

前提

最近做一个优化问题用到拉格朗日乘数法，时间比较琐碎，搞了好久。现在理清了，记录下。

例1：极值点在可行域内

m i n { f ( x 1 , x 2 ) } = ( x 1 − 1 ) 2 + ( x 2 − 1 ) 2 + 1 s . t . g 1 ( x 1 ) = x 1 − 2 ≤ 0 g 1 ( x 2 ) = x 2 − 2 ≤ 0 {\rm{min}}\{f(x_1,x_2)\}=(x_1-1)^2+(x_2-1)^2+1 \\ {\rm{s.t.}} \quad g_1(x_1)=x_1-2\leq0 \\ \quad\quad\quad g_1(x_2)=x_2-2\leq0 min{f(x1​,x2​)}=(x1​−1)2+(x2​−1)2+1s.t.g1​(x1​)=x1​−2≤0g1​(x2​)=x2​−2≤0

1.1 构建拉格朗日函数

$$\begin{gathered} L(x_1,x_2,{\mu }_1,{\mu }_2)=f(x_1,x_2)+{\mu }_1{g}_1(x_1)+{\mu }_2{g}_2(x_2) \\ {\mu }_1{g}_1(x_1)=0 \\ {\mu }_2{g}_2(x_2)=0 \\ {\mu }_1,{\mu }_2\ge 0 \end{gathered}$$

1.2 梯度方程

根据拉格朗日乘数法的思想，在极值处应有梯度和为0的情况，即
$$\begin{gathered} \Delta L(x_1,x_2,{\mu }_1,{\mu }_2) \\ =\Delta f(x_1,x_2)+{\mu }_1\Delta g_1(x_1)+{\mu }_2\Delta g_2(x_2)=0 \\ {\mu }_1{g}_1(x_1)=0 \\ {\mu }_2{g}_2(x_2)=0 \\ {\mu }_1,{\mu }_2\ge 0 \end{gathered}$$
注意，由于有${\mu }_i{x}_i$项，上面这个已经不是线性方程组了
代入顶端的方程，得到
$$\begin{gathered} 2x_1-2+{\mu }_1=0 \\ 2x_2-2+{\mu }_2=0 \\ {\mu }_1(x_1-2)=0 \\ {\mu }_2(x_2-2)=0 \\ {\mu }_1,{\mu }_2\ge 0 \end{gathered}$$

因为不是线性方程组，所以分情况讨论

case1: ${\mu }_1=0,{\mu }_2\ne 0$
$\because {\mu }_2\ne 0$
$\therefore x_2=2$
在
$$2x_2-2+{\mu }_2=0$$
中，${\mu }_2=-2$，这与${\mu }_2\ge 0$矛盾。

case2: ${\mu }_1\ne 0,{\mu }_2=0$
$\because {\mu }_1\ne 0$
$\therefore x_1=2$
在
$$2x_1-2+{\mu }_1=0$$
中，${\mu }_1=-2$，这与${\mu }_1\ge 0$矛盾。

case3: ${\mu }_1\ne 0,{\mu }_2\ne 0$
$\because {\mu }_1\ne 0$
$\therefore x_1=2$
在
$$2x_1-2+{\mu }_1=0$$
中，${\mu }_1=-2$，这与${\mu }_1\ge 0$矛盾。${\mu }_2,x_2$亦矛盾。

case4: ${\mu }_1=0,{\mu }_2=0$
$\because {\mu }_1=0,{\mu }_2=0$
$\therefore x_1=1，x_2=1$
此时，$(x_1=1，x_2=1)$
在可行域
$$\begin{gathered} \mathrm{s}.\mathrm{t}.g_1(x_1)=x_1-2\le 0 \\ {g}_1(x_2)=x_2-2\le 0 \end{gathered}$$
范围内，是极值。

例2：极值点在可行域外，此时最值出现在边界条件上

m i n { f ( x 1 , x 2 ) } = ( x 1 − 1 ) 2 + ( x 2 − 1 ) 2 + 1 s . t . g 1 ( x 1 ) = x 1 − 2 ≤ 0 g 1 ( x 2 ) = 2 − x 2 ≤ 0 {\rm{min}}\{f(x_1,x_2)\}=(x_1-1)^2+(x_2-1)^2+1 \\ {\rm{s.t.}} \quad g_1(x_1)=x_1-2\leq0 \\ \quad\quad\quad g_1(x_2)=2-x_2\leq0 min{f(x1​,x2​)}=(x1​−1)2+(x2​−1)2+1s.t.g1​(x1​)=x1​−2≤0g1​(x2​)=2−x2​≤0

2.1构建拉格朗日函数

$$\begin{gathered} L(x_1,x_2,{\mu }_1,{\mu }_2)=f(x_1,x_2)+{\mu }_1{g}_1(x_1)+{\mu }_2{g}_2(x_2) \\ {\mu }_1{g}_1(x_1)=0 \\ {\mu }_2{g}_2(x_2)=0 \\ {\mu }_1,{\mu }_2\ge 0 \end{gathered}$$

2.2梯度方程

根据拉格朗日乘数法的思想，在极值处应有梯度和为0的情况，即
$$\begin{gathered} \Delta L(x_1,x_2,{\mu }_1,{\mu }_2) \\ =\Delta f(x_1,x_2)+{\mu }_1\Delta g_1(x_1)+{\mu }_2\Delta g_2(x_2)=0 \\ {\mu }_1{g}_1(x_1)=0 \\ {\mu }_2{g}_2(x_2)=0 \\ {\mu }_1,{\mu }_2\ge 0 \end{gathered}$$
代入顶端的方程，得到
$$\begin{gathered} 2x_1-2+{\mu }_1=0 \\ 2x_2-2-{\mu }_2=0 \\ {\mu }_1(x_1-2)=0 \\ {\mu }_2(2-x_2)=0 \\ {\mu }_1,{\mu }_2\ge 0 \end{gathered}$$

分情况讨论

case1: ${\mu }_1=0,{\mu }_2=0$
$\because {\mu }_1=0,{\mu }_2=0$
$\therefore x_1=1,x_2=1$
其中 $x_2=1$ 不在 $g_2(x_2)=2-x_2\le 0$ 范围内，矛盾。

case2: ${\mu }_1\ne 0,{\mu }_2=0$
$\because {\mu }_1\ne 0,{\mu }_2=0$
$\therefore x_1=2,x_2=1$ 和 ${\mu }_1=-2$。
其中 ${\mu }_1=-2$ 与 ${\mu }_1\ge 0$矛盾。

case3: ${\mu }_1\ne 0,{\mu }_2\ne 0$
$\because {\mu }_1\ne 0,{\mu }_2\ne 0$
$\therefore x_1=2,x_2=2$
显然不在可行域
$$\begin{gathered} \mathrm{s}.\mathrm{t}.g_1(x_1)=x_1-2\le 0 \\ {g}_1(x_2)=x_2-2\le 0 \end{gathered}$$
范围内，矛盾。

case4: ${\mu }_1=0,{\mu }_2\ne 0$
$\because {\mu }_1=0,{\mu }_2\ne 0$
$\therefore x_1=1,x_2=2$ 和 ${\mu }_2=2$。
符合条件，因此$x_1=1,x_2=2,{\mu }_1=0,{\mu }_2=2$是最值所在。

小结

松弛因子${\mu }_i=0$，说明极值点$x^{\ast }$满足对应的不等式
$g_i\le 0$，${\mu }_i\ne 0$时，则最值点出现在边界条件
$g_i=0$上。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。