优化基础（四）：如何找到极值点？

前言

在上一篇文章优化基础（三）：内部点、边界点、极值点、外部点中我们提到，边界点里有一种特殊的点叫极值点，它们拥有一些很好的性质：局部最大/小值或全局最大/小值，将会在这些极值点中诞生。

回忆一下单纯形法（想不起来的小伙伴可以参考我的文章运筹学基础（一）求解线性规划的单纯形法详解），它的几何意义就是在极值点之间跳跃寻找最优解。

那么如何找到这些极值点呢？本文通过一个例子来探讨一下。

例子

考虑如下线性规划问题：
$$\begin{gathered} min{x}_1-2x_2 \\ {x}_1+x_2+x_3=40 \\ 2x_1+x_2+x_4=60 \\ {x}_1,x_2,x_3,x_4\ge 0 \end{gathered}$$

这里我们有4个变量($n$)，2个等式($m$)。我们知道在解方程组时，当$n=m$时，有唯一解，当$n>m$时，通常有无穷多个解，当$n<m$时，通常无解。

上例中$n>m$，说明有无穷多个解，如果要找到唯一解，我们可以将$n-m$个变量置为0。上例中可以有$C_4^2=6$种置0的办法，分别如下：

1. $x_1=0,x_2=0$：可求的$x_3=40,x_4=60$
2. $x_1=0,x_3=0$：可求的$x_2=40,x_4=20$
3. $x_1=0,x_4=0$：可求的$x_2=60,x_3=-20$，infeasible
4. $x_2=0,x_3=0$：可求的$x_1=40,x_4=-20$，infeasible
5. $x_2=0,x_4=0$：可求的$x_1=30,x_3=10$
6. $x_3=0,x_4=0$：可求的$x_1=20,x_2=20$

1、2、5、6就是两个等式和变量的定义域合成的解空间的极值点。

参考资料

1. 方述诚 introduction to linear programming