最优化理论与方法-第十一讲-线性规划-极点的刻画

B站老师学习视频

1. 概述

• 线性规划的标准形式；
• 多面体的几何分解；
• 单纯形法；
• 对偶单纯形法

2. 线性规划定义

• 线性规划Linear Programming：目标函数为决策变量的线性函数，同时约束条件为线性等式或线性不等式约束
• 标准形式：
  $$\begin{array}{c}\begin{array}{rl}& (LP)\min c^{T}x\\ & st.Ax=b,x\ge 0\end{array}\end{array}$$
  其中,$c\in R^n,A\in R^{m\times n},b\in R^m$，通常假设系数矩阵A行满秩，即$r(A)=m$
  将非标准形的线性规划问题转换为标准形式,
• 1）要求最大，就取负号求最小
  max ⁡ d T x → min ⁡ { − d T x } \begin{equation}\begin{aligned} &\max d^Tx\to \min \{-d^Tx\} \end{aligned}\end{equation} ​maxdTx→min{−dTx}​​​
• 2）实际给的是不等式$a_i^{T}x\le b_i$，标准型是等式，那么我们需要凑等式，引入变量s
  $$\begin{array}{c}\begin{array}{rl}& a_i^{T}x\le b_i\to a_i^{T}x+s=b_i,s\ge 0\end{array}\end{array}$$
• 3）实际无要求$x\ge 0$，需要转换变量,假设有两个正的变量，通过差值来表示负值：
  $$\begin{array}{c}\begin{array}{rl}& x_i无需求\to x_i=x_i^{+}-x_i^{-},x_i^{+}\ge 0,x_i^{-}\ge 0\end{array}\end{array}$$
• 我们记S为可行集， S = { x ∣ A x = b , x ≥ 0 } S=\{x\big|Ax=b,x\ge0\} S={x ​Ax=b,x≥0},容易看出S是由线性约束的描述的。这里相当于S就是多面体集合。
  – 多面体$S_1$: 可以用四个定点P1,P2,P3,P4表示凸集合S1,并且任一点X可以由四个点的凸组合形式表示。
  
  – 多面体$S_2$，假设过X点作两个边的平行线，这样得到一个M1锥区域，这区域的线可以向右上无限延伸。
  

3. 多面体的基本性质

3.1 定义

• 极点(extremepoint):给凸集C,若$x\in C$不能表示成C另外两点的凸组合，则称x为C的极点。
• 方向(recession direction):给出凸集C，若非零向量d满足：对于任意$x\in C$均有
  $$\begin{array}{c}x+\lambda d\in C,\forall \lambda >0\end{array}$$
  则称d为集合C的方向
• 极方向(extreme direction):若方向d不能表示成另外两个方向的正线性组合，即不存在${\lambda }_1,{\lambda }_2>0$，使得$d={\lambda }_1{d}_1+{\lambda }_2{d}_2$，则称d为C的极方向
• 这个极方向很类似于矩阵里面的特征向量

• 考虑多面体 S = { x ∣ A x = b , x ≥ 0 } S=\{x\big|Ax=b,x\ge0\} S={x ​Ax=b,x≥0},这里假设$A_{m\times n}$行满秩
• $x\in S$是S的极点当且仅当x 可表示为$x=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)$,其中
  A=(B,N),B可逆且$B^{-1}b\ge 0$
• 解释：
  — 因为A行满秩，所以可得$A{A}^T$是一个$m\times m$满秩矩阵，可得：
  $$\begin{array}{c}A=(B,N),x=\left[\begin{array}{c}{x}_b^T\\ \\ x_n^T\end{array}\right]\to Ax=b\to B{x}_b^T+N{x}_n^T=b\end{array}$$
• 这里的B可以看做是极大线性无关组，$x_n^T$为非零解，即$N{x}_n^T=0$
  $$\begin{array}{c}B{x}_b^T+N{x}_n^T=b\to B{x}_b^T=b\to x_b^T=B^{-1}b\end{array}$$
• 这里线性规划中需要$x\ge 0$,所以就必须保证 $B^{-1}b\ge 0$
• 这里的$x_n^T$解可以由$x_b^T$通过线性组合表出，所以通解x表示为：
  $$\begin{array}{c}x=\left(\begin{array}{c}{x}_b^T\\ \\ x_n^T\end{array}\right)=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)\end{array}$$

3.2 证明1

• 已知 : $x=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)$,其中A=(B,N),B可逆且$B^{-1}b\ge 0$
• 证明： $x\in S$是S的极点
• 证明：
  – 代入可得Ax=b ，所以可得 $x\in S$
  $$\begin{array}{c}Ax=\left(\begin{array}{cc}B& N\end{array}\right)\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)=b\end{array}$$
  – 不妨设$x=\lambda \bar{x}+(1-\lambda )\tilde{x}$,其中$\lambda \in (0,1),\bar{x},\tilde{x}\in S$
  – 可知$A\bar{x}=b,\bar{x}\ge 0,A\tilde{x}=b,\tilde{x}\ge 0$
  – 可将$\bar{x},\tilde{x}$分解为通解形式：
  $$\begin{array}{c}\bar{x}=\left[\begin{array}{c}\overline{x_B}\\ \\ \overline{x_N}\end{array}\right];\tilde{x}=\left[\begin{array}{c}\widetilde{x_B}\\ \\ \widetilde{x_N}\end{array}\right];x=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)\end{array}$$
  – 代入方程可得：
  $$\begin{array}{c}\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)=\lambda \left[\begin{array}{c}\overline{x_B}\\ \\ \overline{x_N}\end{array}\right]+(1-\lambda )\left[\begin{array}{c}\widetilde{x_B}\\ \\ \widetilde{x_N}\end{array}\right];\end{array}$$
• 整理可得：
  $$\begin{array}{c}0=\lambda \overline{x_N}+(1-\lambda )\widetilde{x_N}\end{array}$$
• 因为$\lambda \ge 0,1-\lambda \ge 0,\overline{x_N}\ge 0,\widetilde{x_N}\ge 0$ 可得：
  $$\begin{array}{c}\overline{x_N}=\widetilde{x_N}=0\end{array}$$
• 又因为 $A\bar{x}=b$，即
  $$\begin{array}{c}\left(\begin{array}{cc}B& N\end{array}\right)\left(\begin{array}{c}\overline{x_B}\\ \\ 0\end{array}\right)=B\overline{x_B}=b\to \overline{x_B}=B^{-1}b\end{array}$$
• 这样可得：
  $$\begin{array}{c}\bar{x}=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)\end{array}$$
• 同理可得：
  $$\begin{array}{c}\tilde{x}=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)\end{array}$$
• 所以x点无法由两个不同的点进行凸组合，所以x是极值点

3.3 证明2

• 已知 ： $x\in S$是S的极点，$Ax=b,x\ge 0$
• 证明: $x=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)$,其中A=(B,N),B可逆且$B^{-1}b\ge 0$
• 证明：
• 不妨设：
  $$\begin{array}{c}x=(x_1,x_2,\cdots ,x_k,0,\cdots ,0{)}^T,x_1,\cdots ,x_k\ge 0\end{array}$$
• 考虑A的对应列$a_1,a_2,\cdots ,a_k$,假如$a_1,a_2,\cdots ,a_k$线性相关，则存在不全为0的系数，使得如下方程成立
  $$\begin{array}{c}{\theta }_1{a}_1+{\theta }_2{a}_2+\cdots +{\theta }_k{a}_k=0\end{array}$$
• 构造n维向量$\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_k,0,\cdots ,0)$,前k列不为零，其他为0，则可得$A\theta$如下：
  $$\begin{array}{c}A\theta ={\theta }_1{a}_1+{\theta }_2{a}_2+\cdots +{\theta }_k{a}_k=0\end{array}$$
• 只要取充分小的 $ϵ>0$，使得
  $$\begin{array}{c}\bar{x}=x+ϵ\theta \ge 0,\tilde{x}=x-ϵ\theta \ge 0\end{array}$$
• 乘以A可得：
  $$\begin{array}{c}A\bar{x}=Ax+Aϵ\theta =b,A\tilde{x}=Ax-Aϵ\theta =b\end{array}$$
• 则可得：
  $$\begin{array}{c}\bar{x},\tilde{x}\in S,x=\frac{1}{2}\bar{x}+\frac{1}{2}\tilde{x}\end{array}$$
• 根据上面可得，x点可以由两个点$\bar{x},\tilde{x}$线性组合，与x是极点矛盾！！！所以我们假设的假如$a_1,a_2,\cdots ,a_k$线性相关不成立
• 结论：$a_1,a_2,\cdots ,a_k$线性无关，$r(A)=m\to k\le m$
  – 若情况1，k=m,记
  $$\begin{array}{c}{x}_B={\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_m\end{array}\right)}^T,x_N=0\end{array}$$
• 可得：
  $$\begin{array}{c}Ax=(B,N)\left(\begin{array}{c}{x}_B\\ \\ 0\end{array}\right)=B{x}_B=b\to x_B=B^{-1}b\end{array}$$
• 结论：
  $$\begin{array}{c}x=\left(\begin{array}{c}{B}^{-1}b\\ \\ 0\end{array}\right)\end{array}$$

– 若情况2：$k<m$，那么我们可以凑m项为B，
$$\begin{array}{c}B=\left(\begin{array}{ccccccc}{a}_1& a_2& \cdots & a_k& a_{k+1}& \cdots & a_m\end{array}\right)\end{array}$$
$$\begin{array}{c}{x}_B=\left(\begin{array}{ccccccc}{x}_1& x_2& \cdots & x_k& 0& \cdots & 0\end{array}\right)\end{array}$$

• 可得：
  $$\begin{array}{c}Ax=(B,N)\left(\begin{array}{c}{x}_B\\ \\ 0\end{array}\right)=B{x}_B=b\to x_B=B^{-1}b\end{array}$$