应用运筹学基础：线性规划 (1) - 极点与基可行解

学校有一门课叫《应用运筹学基础》，是计算机学院唯一教优化的课程，感觉上得还行，这里简单记录一下上课学到的知识。第一节课是线性规划（linear programming）。

 

凸集

对于集合 $S$，若任意两元素 $x, y \in S$，且对于任意 $0 \le \theta \le 1$ 有 $\theta x + (1-\theta)y \in S$，那么 $S$ 是凸集（convex set，形象地想象就是凸的图形）。

可以推广：若 $S$ 为凸集，那么对任意 $n \ge 2$ 个元素 $x_1, x_2, \dots, x_n \in S$ 以及任意 $\sum_{i=1}^n \theta_i = 1$，都有 $\sum_{i=1}^n \theta_ix_i \in S$。

可以使用归纳法证明：

(1) 对于 $n = 2$，根据凸集的定义，结论成立。

(2) 若对于 $n = k$ 结论成立，即对任意 $x_1, x_2, \dots, x_k \in S$ 以及任意 $\sum_{i=1}^k \theta_i = 1$，有 $\sum_{i=1}^k \theta_ix_i \in S$。那么对于任意 $y_1, y_2, \dots, y_{k+1} \in S$ 以及任意 $\sum_{i=1}^{k+1} \lambda_i = 1$，有 $\sum_{i=1}^k \lambda_i = 1 - \lambda_{k+1}$，即 $\sum_{i=1}^k \lambda_i / (1 - \lambda_{k+1}) = 1$，那么 $t_{k+1} = \sum_{i=1}^k \lambda_iy_i / (1 - \lambda_{k+1}) \in S$，根据凸集的定义，自然有 $\sum_{i=1}^{k+1} \lambda_iy_i = (1 - \lambda_{k+1})t_{k+1} + \lambda_{k+1}y_{k+1} \in S$，结论成立。

凸集的交仍然是凸集，容易通过定义证明。

 

凸函数

对于定义在凸集 $S$ 上的函数 $f(x)$，若对于任意 $0 \le \theta \le 1$ 有 $f(\theta x + (1-\theta) y) \l