最优化理论与方法-第十一讲-线性规划-极方向的刻画

1. 极方向定义

极方向是指从凸集的一点触发，无法被该点与其他店的连线所包含的方向。

• 假设d是集合S的极方向，x是集合S的点，对于任意的$\lambda \ge 0$,总存在：
  x ∈ S , S = { x ∣ A x = b , x ≥ 0 } ∀ λ ≥ 0 , ∃ d , x + λ d ≥ 0 , A ( x + λ d ) = b \begin{equation}\begin{aligned} &x\in S,S=\{x\big|Ax=b,x\ge0\}\\ &\forall \lambda\ge0,\exist d,x+\lambda d\ge0,A(x+\lambda d)=b\\ \end{aligned}\end{equation} ​x∈S,S={x ​Ax=b,x≥0}∀λ≥0,∃d,x+λd≥0,A(x+λd)=b​​​
• 由于$A(x+\lambda d)=b,Ax=b,\forall \lambda \ge 0$,可得 $Ad=0,d\ge 0$
  
• 如果d是极方向，d不可有其他两个方向线性表出：
  $$\begin{array}{c}\begin{array}{rl}& d是S的方向⟷Ad=0,d\ge 0\\ & d是极方向⟷d\ne {\lambda }_1\bar{d}+{\lambda }_2\tilde{d}\\ & {\lambda }_1>0,{\lambda }_2>0,\bar{d},\tilde{d}是S的方向\end{array}\end{array}$$

2. 定理

2.1 概述

考虑多面体 S = { x ∣ A x = b , x ≥ 0 } S=\{x\big|Ax=b,x\ge 0\} S={x ​Ax=b,x≥0}，这里假设$A_{m\times n}$行满秩。

• $d\in R^n$是S的极方向当且仅当存在矩阵A的分解A=(B,N),使得：
  $$\begin{array}{c}d=t\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)\end{array}$$
  其中，$t>0,B^{-1}{a}_j\le 0,$,$a_j$为矩阵N的第$j$列，$e_j\in R^{n-m}$的第$j$个分量为1，其余分量为0；
• 有限个极方向

2.2 证明1

• 已知：
  $$\begin{array}{c}d=\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)\ge 0,A=(B,N),a_j为矩阵N的第j列\end{array}$$
• 证明： d方向是极方向
  -我们计算Ad
  $$\begin{array}{c}Ad=(B,N)\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)=-a_j+N{e}_j\end{array}$$
• 因为$a_j$为矩阵N的第$j$列，$e_j\in R^{n-m}$的第$j$个分量为1，其余分量为0，可得 $-a_j+N{e}_j=0$
  $$\begin{array}{c}Ad=(B,N)\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)=-a_j+N{e}_j=0\end{array}$$
• 可得d为集合S的方向。不妨设：
  $$\begin{array}{c}d={\lambda }_1\bar{d}+{\lambda }_2\tilde{d},{\lambda }_1>0,{\lambda }_2>0,\bar{d},\tilde{d}\in S\end{array}$$
• 因为$,\bar{d},\tilde{d}\in S$可得如下：
• 将方向进行分组可得：
  $$\begin{array}{c}\bar{d}=\left(\begin{array}{c}\overline{d_B}\\ \\ \overline{d_N}\end{array}\right);\tilde{d}=\left(\begin{array}{c}\widetilde{d_B}\\ \\ \widetilde{d_N}\end{array}\right)\end{array}$$
• 分别代入方程可得：
  $$\begin{array}{c}\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)={\lambda }_1\left(\begin{array}{c}\overline{d_B}\\ \\ \overline{d_N}\end{array}\right)+{\lambda }_2\left(\begin{array}{c}\widetilde{d_B}\\ \\ \widetilde{d_N}\end{array}\right)\end{array}$$
• 整理可得：
  $$\begin{array}{c}{e}_j={\lambda }_1\overline{d_N}+{\lambda }_2\widetilde{d_N}，{\lambda }_1>0,{\lambda }_2>0\end{array}$$
• $e_j\in R^{n-m}$的第$j$个分量为1，其余分量为0；
• 可得，$\overline{d_N}，\widetilde{d_N}$除了第j项外，其他分量为0，不然无法求和为0，这样两个方向就通向了，记如下：
  $$\begin{array}{c}\overline{d_N}=t_1{e}_j;\widetilde{d_N}=t_2{e}_j,t_1\ge 0,t_2\ge 0\end{array}$$
• 证明 $t_1\ne 0,t_2\ne 0$,假设$t_1=0$，可得 $\overline{d_N}=0$,因为$A\bar{d}=0$
  $$\begin{array}{c}A\bar{d}=(B,N)\left(\begin{array}{c}\overline{d_B}\\ \\ 0\end{array}\right)=B\overline{d_B},A\bar{d}=0\to B\overline{d_B}=0,B可逆\to ,\overline{d_B}=0\end{array}$$
• 我们可得方向向量d
  $$\begin{array}{c}\bar{d}=\left(\begin{array}{c}\overline{d_B}\\ \\ \overline{d_N}\end{array}\right)=\left(\begin{array}{c}0\\ \\ 0\end{array}\right)\to 与方向向量不为零向量矛盾，所以t_1\ne 0,同理t_2\ne 0\end{array}$$
• 可得：$t_1>0,t_2>0$
• 考虑 $\bar{d}$是集合S的方向，所以可得$A\bar{d}=0$,展开可得：
  $$\begin{array}{c}A\bar{d}=(B,N)\left(\begin{array}{c}\overline{d_B}\\ \\ \overline{d_N}\end{array}\right)=(B,N)\left(\begin{array}{c}\overline{d_B}\\ \\ t_1{e}_j\end{array}\right)=B\overline{d_B}+N{t}_1{e}_j=0\end{array}$$
• $N{t}_1{e}_j=t_1{a}_j$可得：
  $$\begin{array}{c}B\overline{d_B}+t_1{a}_j=0\to \overline{d_B}=-t_1{B}^{-1}{a}_j\end{array}$$
• 我们知道 $\overline{d_N}=t_1{e}_j$
  $$\begin{array}{c}\bar{d}=\left(\begin{array}{c}\overline{d_B}\\ \\ \overline{d_N}\end{array}\right)=\left(\begin{array}{c}-t_1{B}^{-1}{a}_j\\ \\ t_1{e}_j\end{array}\right)=t_1\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)\end{array}$$
• 由已知条件：
  $$\begin{array}{c}d=\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)\to \bar{d}=t_{1}d\end{array}$$
• 同理我们可以证明：$\tilde{d}=t_{2}d$,也就是说，我们一开始选择两个方向的 $\bar{d},\tilde{d}$,最后它们居然变成了同一个方向$d$，与我们假设的不同方向矛盾，所以，这个方向就一定是极方向。

2.3 证明2

• 已知： d 方向是极方向，$Ad=0,d\ge 0$
• 证明：
  $$\begin{array}{c}d=\left(\begin{array}{c}-B^{-1}{a}_j\\ \\ e_j\end{array}\right)\ge 0,A=(B,N),a_j为矩阵N的第j列\end{array}$$
  – 证明：
  不妨设d的分量重由 k+1 个正的，其余为0
  $$\begin{array}{c}d={\left(\begin{array}{ccccccccc}{d}_1& d_2& \cdots & d_k& 0& & t& \cdots & 0\end{array}\right)}^T；d_1,d_2,\cdots ,d_k,t\ge 0\end{array}$$
• 取对应的A的列$a_1,a_2,\cdots ,a_k$,若$a_1,a_2,\cdots ,a_k$
• 若 $a_1,a_2,\cdots ,a_k$相关，则存在不全为0的 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$使得：
  $$\begin{array}{c}{\theta }_1{a}_1+{\theta }_2{a}_2+\cdots +{\theta }_k{a}_k=0\end{array}$$
• 构造 $\theta =({\theta }_1,{\theta }_2,\cdots ,0,\cdots ,0{)}^T\in R^n$,取充分小的$ϵ>0$,可得：
  $$\begin{array}{c}\bar{d}=d+ϵ\theta \ge 0,\tilde{d}=d-ϵ\theta \ge 0\to A\bar{d}=0,A\tilde{d}=0\end{array}$$
• 由此可得： $d=\frac{1}{2}\bar{d}+\frac{1}{2}\tilde{d}$,可知，d表示为另外两个方向的正组合，与d是极方向矛盾，所以可得：
  $$a_1,a_2,\cdots ,a_k不相关\to k\le m$$
  — 情况1：- 假设 k=m 可得：

$$\begin{array}{c}d={\left(\begin{array}{ccccccccc}{d}_1& d_2& \cdots & d_k& 0& & t& \cdots & 0\end{array}\right)}^T；d_1,d_2,\cdots ,d_k,t\ge 0\end{array}$$

• 可得：
  $$\begin{array}{c}d={\left(\begin{array}{ccccccccc}{d}_1& d_2& \cdots & d_m& 0& & t& \cdots & 0\end{array}\right)}^T;\end{array}$$
  $$\begin{array}{c}{d}_B={\left(\begin{array}{cccc}{d}_1& d_2& \cdots & d_m\end{array}\right)}^T;d_N=t{e}_j\end{array}$$
• 记 $B=(a_1,a_2,\cdots ,a_m{)}^T$,N为剩下的项，可得：
  $$\begin{array}{c}因为Ad=0\to 可得(B,N)\left(\begin{array}{c}{d}_B\\ \\ d_N\end{array}\right)=B{d}_B+N{d}_N=B{d}_B+tN{e}_j=B{d}_B+t{a}_j=0\end{array}$$
• 则可得：
  $$\begin{array}{c}{d}_B=t{B}^{-1}{a}_j；d_N=t{e}_j；d=\left(\begin{array}{c}{d}_B\\ \\ d_N\end{array}\right)\end{array}$$
• 整理可得：
  $$\begin{array}{c}d=\left(\begin{array}{c}t{B}^{-1}{a}_j\\ \\ t{e}_j\end{array}\right)=t\left(\begin{array}{c}{B}^{-1}{a}_j\\ \\ e_j\end{array}\right)\end{array}$$
  — 情况2：- 假设 k < m 可得：
• 根据上面已证明可得 ：$a_1,a_2,\cdots ,a_k不相关$，则必然可以剩余的列【除了1,2,…,k列，t对应的列】，可以选$a_{k+1},\cdots ,a_m$
• 使得$a_1,\cdots ,a_k,\cdots ,a_m$线性无关,$B=(a_1,\cdots ,a_m)$,N为剩余的列
• $d_B=(d_1,\cdots ,d_m),d_N=(0,0,\cdots ,t,0,\cdots ,0)$
• 因为 Ad=0可得：
  $$\begin{array}{c}Ad=(B,N)\left(\begin{array}{c}{d}_B\\ \\ d_N\end{array}\right)=0\to d=t\left(\begin{array}{c}{B}^{-1}{a}_j\\ \\ e_j\end{array}\right)\end{array}$$

3. 多面体的分解定理

多面体的分解定理：线性规划单纯形法的理论基础

3.1 定义：

假设S的极点为$x_1,\cdots ,x_k$,极方向为$d_1,\cdots ,d_l$,则 $x\in S$，当且仅当x具有如下形式：
$$\begin{array}{c}\begin{array}{rl}& x=\sum _{i=1}^k{\lambda }_i{x}_i+\sum _{j=1}^l{\mu }_j{d}_j\\ & \sum _{i=1}^k{\lambda }_i=1,{\lambda }_i\ge 0;i=1,\cdots ,k\\ & {\mu }_j\ge 0,j=1,\cdots ,l\end{array}\end{array}$$

3.2 矩阵思路[仅供参考]个人思路：

• 当$d_j$为极方向时，可得：$A{d}_j=0$,且 $d_j$是唯一的，其实可以看出$d_j$是矩阵A的特征向量，我们知道$x_i$为极点，这可以得到$A{x}_i=b$，这里的 $x_i$ 其实本质上来说是矩阵Ax=b的特解，那么用线性代数的基本知识可得,Ax=b的通解为特解+零空间解
• 那矩阵A里面的所有特解多少呢？
  一般来说，我一开始认为只是极点，其实不是，特解应该是所有极点的线性组合。就是所有的边，所以由点组成边的表达式是
  $$\begin{array}{c}\begin{array}{rl}& 边=\sum _{i=1}^k{\lambda }_i{x}_i；\sum _{i=1}^k{\lambda }_i=1\end{array}\end{array}$$
• 零空间的解为：${\sum }_{j=1}^l{\mu }_j{d}_j$
• 综上所述，通解 = 特解 + 零空间解
  $$\begin{array}{c}\begin{array}{rl}& x=\sum _{i=1}^k{\lambda }_i{x}_i+\sum _{j=1}^l{\mu }_j{d}_j\\ & \sum _{i=1}^k{\lambda }_i=1,{\lambda }_i\ge 0;i=1,\cdots ,k\\ & {\mu }_j\ge 0,j=1,\cdots ,l\end{array}\end{array}$$

3.3 应用

• 原问题：
  如果我们有一个线性规划LP问题：
  $$\begin{array}{c}\begin{array}{rl}& (LP)\min c^{T}x\\ & st.Ax=b,x\ge 0\end{array}\end{array}$$
• 等价问题：
  $$\begin{array}{c}\begin{array}{rl}& \min c^T[\sum _{i=1}^k{\lambda }_i{x}_i+\sum _{j=1}^l{\mu }_j{d}_j]\\ & \sum _{i=1}^k{\lambda }_i=1,{\lambda }_i\ge 0;i=1,\cdots ,k\\ & {\mu }_j\ge 0,j=1,\cdots ,l\end{array}\end{array}$$
• 整理可得：
  $$\begin{array}{c}\begin{array}{rl}& \min [\sum _{i=1}^k{\lambda }_i{c}^T{x}_i+\sum _{j=1}^l{\mu }_j{c}^T{d}_j]\\ & \sum _{i=1}^k{\lambda }_i=1,{\lambda }_i\ge 0;i=1,\cdots ,k\\ & {\mu }_j\ge 0,j=1,\cdots ,l\end{array}\end{array}$$
• 其中$c^T{x}_i,c^T{d}_j$表示为一个数，那么整体为关于${\lambda }_i,{\mu }_i$的线性问题
  – 若某个j，$c^T{d}_j<0$,则 $v(LP)=-\infty$
  – 若$c^T{d}_j\ge 0,\forall j=1,\cdots ,l$,则${\mu }_j=0$
• 原问题
  $$\begin{array}{c}\begin{array}{rl}& (LP)\min c^{T}x\\ & st.Ax=b,x\ge 0\end{array}\end{array}$$
• 转换为：
  $$\begin{array}{c}\begin{array}{rl}& \min {\lambda }_i{c}^T\sum _{i=1}^k{x}_i\\ & \sum _{i=1}^k{\lambda }_i=1,{\lambda }_i\ge 0;i=1,\cdots ,k\end{array}\end{array}$$
• 其实所到底就是直接求所有的边的最小值就行了，中间的值都没用。在特殊情况下只要求极点就行了。

3.4 小结：

考虑如下标准形式的线性规划：
$$\begin{array}{c}\begin{array}{rl}& (LP)\min c^{T}x\\ & st.Ax=b,x\ge 0\end{array}\end{array}$$
其中，A行满秩，记其可行集为 S = { x ∣ A x = b , x ≥ 0 } S=\{x\big|Ax=b,x\ge0\} S={x ​Ax=b,x≥0},假设 S = { x ∣ A x = b , x ≥ 0 } S=\{x\big|Ax=b,x\ge0\} S={x ​Ax=b,x≥0}其极点分别为$x_1,x_2,\cdots ,x_k$,其极方向分别为$d_1,d_2,\cdots ,d_l$,则
结论：

• 1.线性规划(LP)有最优解当且仅当$c^T{d}_j\ge 0,j=1,\cdots ,l;$
• 2.若线性规划(LP)有最优解，则必可在某个极点上达到