【学习笔记】线性规划对偶定理

注：向量并不一定用粗体标明，尤其是 $x,y$，因为它们的粗体太丑。

Definition. 向量比较 $x<y$ 等价于 $\forall i,x_i<y_i$，即在每个分量上做数值比较。

半空间（$\text{affine halfspaces}$）：形如 { x : a T x ⩽ b } \{x:\mathbf a^{\sf T}x\leqslant b\} {x:aTx⩽b}，其中 $x\in {\mathbb{R}}^{\dim \mathbf{a}}$ 。

多面形（$\text{polyhedra/polyhedron}$）：有限个半空间的交。它等价于 P = { x : A x ⩽ b } P=\{x:\mathscr Ax\leqslant\bf b\} P={x:Ax⩽b}，其中 $\mathcal{A}$ 是 $m\times n$ 矩阵，$\mathbf{b}\in {\mathbb{R}}^m$ 而 $x\in {\mathbb{R}}^n$ 。

多胞体（$\text{polytope}$）：有限个向量生成的凸包。等价于有限大小的 $\mathrm{polyhedron}$ 。

Comment. 我并不确定上面这些东西的中文译名应为什么。

Proposition. 若 $x\notin P$ 其中 $P$ 是 $\mathrm{polyhedra}$，则存在半空间 $C$ 使得 $P\subseteq C$ 且 $x\notin C$ 。

该定理的证明很难脱离几何学的支持：需要找到 $y\in P$ 使得 $\Vert x-y\Vert$ 最小，而 $y$ 的存在性由其几何直观性质保证。但倘若承认几何在其中的运用，那么该定理是显然的。故此处不给出证明。

Lemma.（$\text{Farkas’ lemma}$） $\mathcal{A}x=\mathbf{b}$ 有 $x⩾0$ 的解，当且仅当 ${\mathcal{A}}^{\mathsf{T}}y⩾0\wedge {\mathbf{b}}^{\mathsf{T}}y<0$ 无 $y\in {\mathbb{R}}^n$ 的解。

Proof. 当 $\mathcal{A}x=\mathbf{b}$ 有解时，反证法设 $y$ 有解，则
$$0>{\mathbf{b}}^{\mathsf{T}}y=(\mathcal{A}x{)}^{\mathsf{T}}\cdot y=x^{\mathsf{T}}({\mathcal{A}}^{\mathsf{T}}y)⩾0$$

当 $\mathcal{A}x=\mathbf{b}$ 无解时，设 $a_1,a_2,\dots ,a_n$ 为 $\mathcal{A}$ 的列向量，令 $C$ 为它们张成的凸包，则 $x$ 无解等价于 $\mathbf{b}\notin C$，故存在半平面分割 $\mathbf{b}$ 和 $C$，即存在向量 $y$ 使得 ${\mathbf{b}}^{\mathsf{T}}y<0$ 且 $x^{\mathsf{T}}y⩾0(x\in C)$，后者蕴含 ${\mathcal{A}}^{\mathsf{T}}y⩾0$ 。$■$

Corollary. 设 P = { x : A x ⩽ b } ≠ ∅ P=\{x:\mathscr Ax\leqslant\mathbf b\}\ne\varnothing P={x:Ax⩽b}=∅，则 $\forall x\in P,{\mathbf{c}}^{\mathsf{T}}x⩽\delta$ 等价于 $\exists y⩾0,{\mathcal{A}}^{\mathsf{T}}y=c\wedge {\mathbf{b}}^{\mathsf{T}}y⩽\delta$ 。

Proof. 充分性：若 $y$ 存在，则立刻有
$$\mathcal{A}x⩽\mathbf{b}⟹y^{\mathsf{T}}\mathcal{A}x⩽y^{\mathsf{T}}\mathbf{b}⟹{\mathbf{c}}^{\mathsf{T}}x⩽y^{\mathsf{T}}\mathbf{b}⟹{\mathbf{c}}^{\mathsf{T}}x⩽\delta$$

必要性：它本质上是解方程
$$\left(\begin{array}{cc}{y}^{\mathsf{T}}& \lambda \end{array}\right)\left(\begin{array}{cc}A& b\\ 0& 1\end{array}\right)=\left(\begin{array}{cc}{\mathbf{c}}^{\mathsf{T}}& \delta \end{array}\right)$$

的 $y^{\mathsf{T}},\lambda ⩾0$ 的解。由 $\text{Farkas’ lemma}$ 可知存在 $z,\mu \in \mathbb{R}$ 使得
$$\left(\begin{array}{cc}A& b\\ 0& 1\end{array}\right)\left(\begin{array}{c}z\\ \mu \end{array}\right)⩾0\text{and}\left(\begin{array}{cc}{\mathbf{c}}^{\mathsf{T}}& \delta \end{array}\right)\left(\begin{array}{c}z\\ \mu \end{array}\right)<0$$

由前者知 $\mu ⩾0$ 。讨论 $\mu =0$ 和 $\mu >0$ 的情况，分别取 $x=x_0-\gamma z(\gamma \to +\infty )$ 和 $x=-{\mu }^{-1}z$ 即可推出矛盾，完成证明。留作习题。$■$

Theorem.（$\text{Duality theorem of linear programming}$） 令 $\mathcal{A}$ 为 $m\times n$ 矩阵，$\mathbf{b}\in {\mathbb{R}}^m,\mathbf{c}\in {\mathbb{R}}^n$，则
max ⁡ { c T x : A x ⩽ b } = min ⁡ { y T b : y ⩾ 0 ∧ A T y = c } \max\{\mathbf c^{\sf T}x:\mathscr Ax\leqslant\mathbf b\}=\min\{y^{\sf T}\mathbf b:y\geqslant\mathbf 0\land \mathscr A^{\sf T}y=\mathbf c\} max{cTx:Ax⩽b}=min{yTb:y⩾0∧ATy=c}

Proof. 设左式为 $\delta$，根据 $\text{Corollary}$ 立刻有 $\exists y⩾0$ 使得 ${\mathcal{A}}^{\mathsf{T}}y=\mathbf{c}\wedge {\mathbf{b}}^{\mathsf{T}}y⩽\delta$ 。这说明右式至多为 $\delta$ 。

而左式不超过右式，因为 ${\mathbf{c}}^{\mathsf{T}}x=(y^{\mathsf{T}}\mathcal{A})\cdot x⩽y^{\mathsf{T}}\mathbf{b}$ 。$■$

平时常用的线性规划对偶中 $x⩾0$，若将其统一至 $\mathcal{A}x⩽\mathbf{b}$ 中，不难发现有
max ⁡ { c T x : x ⩾ 0 ∧ A x ⩽ b } = min ⁡ { b T y : y ⩾ 0 ∧ A T y ⩾ c } \max\{\mathbf c^{\sf T}x:x\geqslant\mathbf 0\land\mathscr Ax\leqslant\mathbf b\}=\min\{\mathbf b^{\sf T}y:y\geqslant\mathbf 0\land\mathscr A^{\sf T}y\geqslant\mathbf c\} max{cTx:x⩾0∧Ax⩽b}=min{bTy:y⩾0∧ATy⩾c}

这是对偶定理的特殊形式，也是平时惯用的对偶。$\text{crashed}$ 指出：互松弛定理是显然的。因此略去。