拉格朗日对偶方法求解线性规划

1 线性规划标准形式

让我们考虑一个简单的线性规划问题，并写成标准形式：

$$\begin{array}{rl}\text{Minimize}& f(x_1,x_2)=2x_1+3x_2\\ \text{Subject to}& g_1(x_1,x_2)=x_1+x_2-3\le 0\\ & g_2(x_1,x_2)=-x_1+2x_2-4\le 0\end{array}$$

2 构建拉格朗日函数

构建拉格朗日函数，格式为目标函数加上带$\lambda$乘子的约束条件,拉格朗日函数为：
$$L(x_1,x_2,{\lambda }_1,{\lambda }_2)=f(x_1,x_2)+{\lambda }_1\cdot g_1(x_1,x_2)+{\lambda }_2\cdot g_2(x_1,x_2)$$
$$L(x_1,x_2,{\lambda }_1,{\lambda }_2)=2x_1+3x_2+{\lambda }_1(x_1+x_2-3)+{\lambda }_2(-x_1+2x_2-4)$$

3 构建对偶函数

对偶函数 $g({\lambda }_1,{\lambda }_2)$ 为：

$$g({\lambda }_1,{\lambda }_2)=\underset{x_1,x_2}{\inf }L(x_1,x_2,{\lambda }_1,{\lambda }_2)$$

通过对拉格朗日函数对 $x_1$ 和 $x_2$ 求偏导数并令其等于零，我们可以求得最优的 $x_1$ 和 $x_2$ 关于 ${\lambda }_1$ 和 ${\lambda }_2$ 的表达式。

$$\begin{array}{rl}\frac{\partial L}{\partial x_1}& =2+{\lambda }_1-{\lambda }_2=0\\ \frac{\partial L}{\partial x_2}& =3+{\lambda }_1+2{\lambda }_2=0\end{array}$$

通过解这个方程组，我们可以得到 $x_1$ 和 $x_2$ 的关于 ${\lambda }_1$和 ${\lambda }_2$ 的表达式：

$$x_1=\frac{{\lambda }_2-{\lambda }_1}{3},x_2=-\frac{2{\lambda }_2+{\lambda }_1}{3}$$

将这些表达式代入拉格朗日函数，得到对偶函数 $g({\lambda }_1,{\lambda }_2)$：

$$g({\lambda }_1,{\lambda }_2)=L\left(\frac{{\lambda }_2-{\lambda }_1}{3},-\frac{2{\lambda }_2+{\lambda }_1}{3},{\lambda }_1,{\lambda }_2\right)$$

通过对拉格朗日函数对 $x_1$ 和 $x_2$ 求偏导数并令其等于零，得到最优解 $x_1^{\ast }({\lambda }_1,{\lambda }_2)$和 $x_2^{\ast }({\lambda }_1,{\lambda }_2)$。将这些最优解代入拉格朗日函数，得到对偶函数：

$$g({\lambda }_1,{\lambda }_2)=L(x_1^{\ast },x_2^{\ast },{\lambda }_1,{\lambda }_2)$$

根据之前的计算，我们得到：

$$g({\lambda }_1,{\lambda }_2)=-\frac{2}{3}{\lambda }_1-\frac{7}{3}{\lambda }_2$$

4. 构建对偶问题

对偶问题为：

$$\begin{array}{rl}\text{Maximize}& g({\lambda }_1,{\lambda }_2)\\ \text{Subject to}& {\lambda }_1\ge 0,{\lambda }_2\ge 0\end{array}$$
在这个例子中，我们的对偶问题是：

$$\begin{array}{rl}\text{Maximize}& -\frac{2}{3}{\lambda }_1-\frac{7}{3}{\lambda }_2\\ \text{Subject to}& {\lambda }_1\ge 0,{\lambda }_2\ge 0\end{array}$$

5. 求解对偶问题

在这个例子中，很显然
$${\lambda }_1^{\ast }=0,{\lambda }_2^{\ast }=0$$

6. 获得原始问题的最优解

通过之前求解拉格朗日函数的最优解关于 ${\lambda }_1$ 和 ${\lambda }_2$ 的表达式：

$$\begin{array}{rl}{x}_1^{\ast }({\lambda }_1,{\lambda }_2)& =\frac{{\lambda }_2-{\lambda }_1}{3}\\ x_2^{\ast }({\lambda }_1,{\lambda }_2)& =-\frac{2{\lambda }_2+{\lambda }_1}{3}\end{array}$$

将最优的 ${\lambda }_1^{\ast }$ 和 ${\lambda }_2^{\ast }$ 带入这些表达式，得到原始问题的最优解 $x_1^{\ast }$ 和 $x_2^{\ast }$。

本题中
$$x_1^{\ast }=0,x_2^{\ast }=0$$

目标函数
$$\text{Minimize}f(x_1,x_2)=2x_1+3x_2=0$$